[논문 리뷰] Discovering and Explaining the Representation Bottleneck of DNNs

Huiqi Deng, Qihan Ren외 2명|arXiv (Cornell University)|2021. 11. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 36인용 수 16

한 줄 요약

이 논문은 딥 네ural 네트워크(DNNs)에서 입력 변수 간의 상호작용 유형에 따라 비균형적으로 학습되는 표현 병목 현상을 규명한다. 특히 저차수 및 고차수 상호작용은 잘 학습되지만 중간 복잡도의 상호작용은 어려움을 겪는다. 다중차수 상호작용 유용도를 사용하여 저자들은 이 편향을 이론적으로 및 실증적으로 입증하고, DNN과 인간 인지 간의 인지적 격차와 연관지으며, 특정 상호작용 복잡도 학습을 조절할 수 있는 손실 함수를 제안함으로써 상호작용 순서 간의 표현 능력 차이를 드러낸다.

ABSTRACT

This paper explores the bottleneck of feature representations of deep neural networks (DNNs), from the perspective of the complexity of interactions between input variables encoded in DNNs. To this end, we focus on the multi-order interaction between input variables, where the order represents the complexity of interactions. We discover that a DNN is more likely to encode both too simple interactions and too complex interactions, but usually fails to learn interactions of intermediate complexity. Such a phenomenon is widely shared by different DNNs for different tasks. This phenomenon indicates a cognition gap between DNNs and human beings, and we call it a representation bottleneck. We theoretically prove the underlying reason for the representation bottleneck. Furthermore, we propose a loss to encourage/penalize the learning of interactions of specific complexities, and analyze the representation capacities of interactions of different complexities.

연구 동기 및 목표

• DNN이 특정 유형의 특징 상호작용을 표현하는 데 체계적인 편향을 보이는지 조사하기.
• DNN이 이미지 분류 작업에서 인간 인지와 유사하게 시각적 개념을 인코딩하는지 확인하기.
• 상호작용 복잡도와 관련된 DNN 표현 능력의 근본적 한계를 규명하고 설명하기.
• 특정 복잡도 순서의 상호작용 학습을 장려하거나 방지할 수 있는 손실 함수 개발하기.

제안 방법

• 저자들은 변수 $ i $와 $ j $ 간의 평균 상호작용 유용도를 모든 크기 $ m $의 컨텍스트에서 평균화하여 정의된 다중차수 상호작용 유용도 $ I^{(m)}(i,j) $를 사용하여 상호작용 복잡도를 측정한다.
• DNN 출력을 局소 유용도와 다중차수 상호작용 유용도의 합으로 분해한다: $ \text{output} = \sum_{m=0}^{n-2} \sum_{i,j} w^{(m)} I^{(m)}(i,j) + \sum_i \text{local utility} + \text{bias} $.
• 이론적 분석을 통해 $ m $-번째 차수 상호작용의 학습 강도가 $ \frac{n-m-1}{n(n-1)} / \sqrt{\binom{n-2}{m}} $ 비례함을 증명하며, 이는 관측된 병목 현상을 설명한다.
• 상호작용 유용도 $ I^{(m)}(i,j) $ 기반으로 기울기 업데이트를 수정함으로써 특정 상호작용 순서를 방지하거나 장려하는 손실 함수를 제안한다.
• 실증적 검증은 Tiny-ImageNet을 사용한 ResNet-18에서 수행되었으며, 다양한 컨텍스트 크기와 학습 단계에서 상호작용 유용도를 측정하였다.
• 이론 유도 과정에서의 제로 평균 가정은 주된 방향에 기울기를 투영하고, 다양한 컨텍스트 크기에서 평균 값이 거의 0임을 확인함으로써 검증되었다.

실험 결과

연구 질문

• RQ1 DNN은 중간 복잡도 상호작용 학습에 대해 체계적인 편향을 보이는가?
• RQ2 상호작용 복잡도(순서 $ m $로 측정)가 DNN의 표현 능력에 어떤 영향을 미치는가?
• RQ3 DNN의 학습된 상호작용은 인간의 시각적 인지와 어느 정도 일치하는가?
• RQ4 특정 손실 함수를 통해 상호작용 복잡도를 제어할 수 있는가?
• RQ5 관측된 DNN 표현 병목 현상의 이론적 근거는 무엇인가?

주요 결과

• DNN는 저차수 및 고차수 상호작용 유용도의 절대값이 높지만, 중간차수 상호작용의 경우 상당히 낮은 값을 보이는 표현 병목 현상이 존재한다.
• 이론적 분석은 $ m $-번째 차수 상호작용의 학습 강도가 상호작용 순서 스펙트럼의 중앙부에서 급격히 감소함을 확인하며, 이는 병목 현상을 설명한다.
• ResNet-18에 대한 실증 결과는 중간차수 상호작용이 40개의 학습 에포크 이후에도 지속적으로 표현에서 부족하게 나타남을 보여준다.
• 이론 모델의 제로 평균 가정은 검증되었으며, 주요 방향에 대한 기울기 투영의 평균 값이 다양한 컨텍스트 크기에서 거의 0이므로 모델의 신뢰성에 기여한다.
• 상호작용 학습 방식의 차이에도 불구하고, 다양한 상호작용 복잡도 선호도를 가진 DNN는 유사한 분류 정확도를 달성함으로써, 병목 현상이 성능에 영향을 주지 않음을 시사한다.
• 제안된 손실 함수는 특정 상호작용 순서의 학습을 성공적으로 조절함으로써, 이 방법의 제어 가능성과 실용적 유용성을 확인한다.