[논문 리뷰] Learning Sparse Deep Feedforward Networks via Tree Skeleton Expansion

Zhourong Chen, Xiaopeng Li외 1명|arXiv (Cornell University)|2018. 03. 16.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 3

한 줄 요약

이 논문은 계층적 잠재 트리 모델(HLTMs)을 활용하여 상관관계가 있는 특징 그룹을 식별함으로써 희박하고 구조화된 딥 피드포워드 네트워크를 학습하는 새로운 비지도 학습 방법인 트리 스켈레톤 확장 네트워크(TSE-Nets)를 제안한다. 계층적 잠재 트리 분석(HLTA)을 통해 유도된 트리 스켈레톤에서 연결을 확장함으로써, TSE-Nets는 더 적은 파라미터를 가진 채로 수동으로 튜닝된 네트워크와 유사하거나 더 높은 분류 정확도를 달성하면서도 해석 가능성 향상을 이룬다.

ABSTRACT

Despite the popularity of deep learning, structure learning for deep models remains a relatively under-explored area. In contrast, structure learning has been studied extensively for probabilistic graphical models (PGMs). In particular, an efficient algorithm has been developed for learning a class of tree-structured PGMs called hierarchical latent tree models (HLTMs), where there is a layer of observed variables at the bottom and multiple layers of latent variables on top. In this paper, we propose a simple method for learning the structures of feedforward neural networks (FNNs) based on HLTMs. The idea is to expand the connections in the tree skeletons from HLTMs and to use the resulting structures for FNNs. An important characteristic of FNN structures learned this way is that they are sparse. We present extensive empirical results to show that, compared with standard FNNs tuned-manually, sparse FNNs learned by our method achieve better or comparable classification performance with much fewer parameters. They are also more interpretable.

연구 동기 및 목표

• 딥 피드포워드 네트워크(FNNs)의 수동 아키텍처 설계 과제를 해결하기 위해, 이는 시간이 오래 걸리고 종종 최적화되지 않는다는 점.
• 효율적이고 해석 가능한 희박하고 구조화된 FNNs를 학습하기 위한 비지도 방법을 개발하기 위해.
• 확률적 그래픽 모델(PGMs)과 계층적 잠재 트리 분석(HLTA)을 활용하여 네트워크 구조 학습을 위한 기초적인 특징 상관관계를 발견하기 위해.
• 데이터 내 의미 있는 의미론적 또는 공간적 구조와 일치하는 특징 그룹화를 통해 모델의 해석 가능성을 향상시키기 위해.
• 트리 스켈레톤 확장을 통한 구조 학습이 표준 FNNs와 프루닝된 FNNs보다 분류 정확도, 희박성, 해석 가능성 측면에서 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 계층적 잠재 트리 분석(HLTA)을 적용하여 입력 특징을 강하게 상관관계가 있는 그룹으로 분할하고, 각 그룹을 잠재 변수로 모델링하여 트리 구조의 PGM을 형성한다.
• 결과로 도출된 계층적 잠재 트리 모델(HLTMs)에서 트리 스켈레톤을 구성하여 FNN의 핵심 연결 패턴을 나타낸다.
• 초기 스켈레톤에 나타나지 않은 중요한 확률적 의존성을 포괄하기 위해 추가 엣지를 추가함으로써 트리 스켈레톤을 확장한다.
• 확장된 PGM 코어를 FNN의 배경으로 사용하며, 추가적인 히든 유닛(h₃ 계층)과 출력 유닛을 통합하여 모든 계층에서 직접적인 특징 기여를 가능하게 한다.
• h₃ 뉴런을 두 가지 유형으로 설계한다: PGM 코어의 상단에 연결된 뉴런(배경을 형성함)과 하위 계층에서 출력으로 향하는 좁은 스킵 패스를 제공하는 뉴런.
• 사전 훈련이나 가중치 기반 프루닝 없이, 데이터 상관관계에서 유도된 구조에 의존하여 최종 TSE-넷 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 계층적 잠재 트리 모델 기반의 비지도 구조 학습이 수동으로 설계된 FNNs와 유사하거나 이를 초월하는 성능을 내는 희박한 FNNs를 생성할 수 있는가?
• RQ2 TSE-Nets의 히든 유닛의 해석 가능성은 표준 FNNs와 프루닝된 FNNs에 비해 어떻게 다른가 하는가? 특히 학습된 특징의 의미론적 일관성 측면에서 비교해보면?
• RQ3 트리 스켈레톤 확장 방법이 공간 정보를 사용하지 않고도 데이터 내 이웃하는 팽창 패턴(예: MNIST의 인접 픽셀)과 같은 공간적 또는 구조적 상관관계를 어느 정도 잘 포착할 수 있는가?
• RQ4 유사한 파라미터 수를 가진 경우, TSE-Nets의 성능은 가중치 프루닝 기반 방법과 어떻게 비교되는가?
• RQ5 제안된 방법이 텍스트, 이미지, 표준 데이터 유형 등 다양한 데이터 유형에 일반화되어 높은 정확도와 낮은 파라미터 수를 유지하면서도 효과를 발휘할 수 있는가?

주요 결과

• TSE-Nets는 수많은 수동 튜닝 FNNs와 비교해도 12개의 Tox21 작업에서 유사하거나 더 높은 분류 성능를 달성하면서도 파라미터 수가 크게 줄어들었다.
• MNIST 데이터셋에서 공간 좌표를 사용하지 않고도 인접한 픽셀을 일관된 클러스터로 그룹화하여 손글씨 숫자의 구조적 패턴을 반영했다.
• 표준 FNNs와 프루닝된 FNNs에 비해 TSE-Nets는 해석 가능성에서 뛰어난 성능를 보였으며, 상위 10개 상관관계가 높은 단어 간 평균 코사인 유사도가 높았다 (예: Yelp 리뷰에서 0.1632 vs. 표준 FNN의 0.1117).
• Han 등(2015)의 가중치 프루닝 기반 베이스라인과 비교했을 때, TSE-Nets는 동일한 파라미터 수로 비슷한 성능를 달성했지만, 사전 훈련이나 반복적인 가중치 조정이 필요로 하지 않았다.
• 모델의 백본 구조와 좁은 스킵 패스의 조합이 효과적인 특징 전파를 가능하게 하면서도 희박성과 해석 가능성을 유지했다.
• 이 방법은 텍스트(Yelp, DBPedia), 표준(Tox21), 이미지(MNIST) 데이터셋을 포함한 다양한 데이터 유형에 대해 강력한 일반화 능력을 보였으며, 효율성과 해석 가능성 측면에서 일관된 성과를 거두었다.