[논문 리뷰] Understanding Community Structure in Layered Neural Networks

Chihiro Watanabe, Kaoru Hiramatsu외 1명|arXiv (Cornell University)|2018. 04. 13.

Neural Networks and Applications참고 문헌 24인용 수 3

한 줄 요약

이 논문은 입력-커뮤니티 및 커뮤니티-출력 영향을 정의하여 계층적 신경망에서 커뮤니티의 역할을 정량적으로 해석할 수 있는 방법을 제안한다. 이는 모듈러 구조에 대한 정밀한 분석을 가능하게 하며, 임계값 기반 커뮤니티 탐지의 한계를 극복하고 다양한 하이퍼파rameter 설정에서도 일관되고 해석 가능한 통찰을 제공한다.

ABSTRACT

A layered neural network is now one of the most common choices for the prediction of high-dimensional practical data sets, where the relationship between input and output data is complex and cannot be represented well by simple conventional models. Its effectiveness is shown in various tasks, however, the lack of interpretability of the trained result by a layered neural network has limited its application area. In our previous studies, we proposed methods for extracting a simplified global structure of a trained layered neural network by classifying the units into communities according to their connection patterns with adjacent layers. These methods provided us with knowledge about the strength of the relationship between communities from the existence of bundled connections, which are determined by threshold processing of the connection ratio between pairs of communities. However, it has been difficult to understand the role of each community quantitatively by observing the modular structure. We could only know to which sets of the input and output dimensions each community was mainly connected, by tracing the bundled connections from the community to the input and output layers. Another problem is that the finally obtained modular structure is changed greatly depending on the setting of the threshold hyperparameter used for determining bundled connections. In this paper, we propose a new method for interpreting quantitatively the role of each community in inference, by defining the effect of each input dimension on a community, and the effect of a community on each output dimension. We show experimentally that our proposed method can reveal the role of each part of a layered neural network by applying the neural networks to three types of data sets, extracting communities from the trained network, and applying the proposed method to the community structure.

연구 동기 및 목표

• 계층적 신경망(LNN)에서 기능적 역할을 이해하는 데 있어 해석 가능성의 부족 문제를 해결하기 위해.
• 하이퍼파rameter 설정에 따라 모듈러 구조가 변하는 임계값 기반 커뮤니티 탐지 방법의 불안정성과 주관성을 극복하기 위해.
• 각 입력 차원이 커뮤니티에 미치는 영향과 커뮤니티가 출력 차원에 미치는 영향을 측정하는 정량적 프레임워크를 개발하기 위해.
• 히ュ리스틱적 연결 임계값의 묶음 대신 영향 기반 커뮤니티 역할 정량화를 통해 LNN의 분석을 일관되고 해석 가능하게 만들기 위해.

제안 방법

• 각 입력 차원이 커뮤니티에 미치는 영향과 각 커뮤니티가 출력 차원에 영향을 주는 영향을 정량화하기 위해 입력 영향 및 출력 영향 측정법을 도입한다.
• 연결 가중치의 가중합을 사용해 커뮤니티 수준의 영향을 정의한다: $\tau^{\prime+}_{c,j} = \frac{\sum_k B^{+}_{k,j} q_{k,c}}{\sum_k q_{k,c}}$ 및 $\tau^{\prime-}_{c,j} = \frac{\sum_k B^{-}_{k,j} q_{k,c}}{\sum_k q_{k,c}}$, 여기서 $q_{k,c}$는 커뮤니티 소속을 나타낸다.
• 기대최우도를 최대화하기 위해 커뮤니티 탐지 시도를 반복하는 기대최대화(EM) 알고리즘을 적용하여 최적의 커뮤니티 구조를 선택한다.
• 훈련의 안정성 향상과 일반화 성능 향상을 위해 정규화된 데이터와 라소 정규화를 활용한다.
• 커뮤니티 탐지 과정에서 안정적인 수렴을 보장하기 위해 실험에서 고정된 훈련 순서를 사용한다.
• 합성 데이터, 소비자 물가지수, 이미지 분류 세 가지 데이터셋에서 방법을 검증하였으며, 선형 모델과의 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 계층적 신경망에서 각 커뮤니티의 기능적 역할을 단순한 연결 패턴을 넘어서 정량적으로 측정할 수 있는가?
• RQ2 제안된 영향 기반 방법이 임계값 기반 묶음 연결 분석에 비해 더 안정적이고 해석 가능한 커뮤니티 해석을 제공하는가?
• RQ3 이 방법은 커뮤니티가 추론에 실제로 기여하는 방식을 반영하는 의미 있는 입력-출력 관계를 드러낼 수 있는가?
• RQ4 이 방법은 고차원 데이터에서 복잡한 입력-출력 관계를 포괄하는 데 선형 모델과 비교해 어떤가?
• RQ5 특히 임계값 기반 방법이 실패할 때, 다양한 하이퍼파rameter 설정에서도 커뮤니티 구조의 해석이 강인한가?

주요 결과

• 제안된 방법은 각 입력 차원이 커뮤니티에 미치는 영향과 각 커뮤니티가 출력 차원에 영향을 주는 영향을 정량적으로 측정하여 정확한 역할 해석을 가능하게 하였다.
• 이 방법은 다양한 하이퍼파rameter 설정에서도 일관된 커뮤니티 해석을 제공하여, 임계값 기반 방법에서 관찰된 불안정성을 제거하였다.
• 소비자 물가지수 데이터셋에서 계층적 신경망은 선형 모델보다 낮은 일반화 오차를 기록하여 고차원 복잡한 데이터에서 뛰어난 성능을 보였다.
• 선형 모델은 입력 데이터 29개월에서 일반화 오차가 최소가 되었지만, 계층적 신경망은 모든 테스트 기간 동안 선형 모델을 능가하는 성능를 보였다.
• 이 방법은 단순한 묶음 연결보다 커뮤니티 수준의 영향이 더 정보를 많이 담고 있음을 드러내어 추론 과정에서의 기능적 역할에 대한 더 명확한 이해를 가능케 하였다.