[논문 리뷰] Toward Transparent AI: A Survey on Interpreting the Inner Structures of Deep Neural Networks

Tilman Räuker, Anson Ho외 2명|arXiv (Cornell University)|2022. 07. 27.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 종합 검토는 깊이 신경망(DNNs)을 위한 내부 해석 가능성 방법에 대한 포괄적인 분류 체계를 제공하며, 해석 대상이 되는 네트워크 구성 요소(가중치, 뉴런, 하위망, 잠재 표현)와 적용 시점(내재적 vs. 후행적)에 따라 기법을 분류한다. 이는 해석 가능성과 적대적 견고성, 지속 학습, 모odu라리티 등의 분야 간의 핵심 연결 고리를 밝히며, 실무적 응용에서의 유용성을 높이기 위해 진단 도구, 벤치마킹, 적대적 테스팅을 강조한다.

ABSTRACT

The last decade of machine learning has seen drastic increases in scale and capabilities. Deep neural networks (DNNs) are increasingly being deployed in the real world. However, they are difficult to analyze, raising concerns about using them without a rigorous understanding of how they function. Effective tools for interpreting them will be important for building more trustworthy AI by helping to identify problems, fix bugs, and improve basic understanding. In particular, "inner" interpretability techniques, which focus on explaining the internal components of DNNs, are well-suited for developing a mechanistic understanding, guiding manual modifications, and reverse engineering solutions. Much recent work has focused on DNN interpretability, and rapid progress has thus far made a thorough systematization of methods difficult. In this survey, we review over 300 works with a focus on inner interpretability tools. We introduce a taxonomy that classifies methods by what part of the network they help to explain (weights, neurons, subnetworks, or latent representations) and whether they are implemented during (intrinsic) or after (post hoc) training. To our knowledge, we are also the first to survey a number of connections between interpretability research and work in adversarial robustness, continual learning, modularity, network compression, and studying the human visual system. We discuss key challenges and argue that the status quo in interpretability research is largely unproductive. Finally, we highlight the importance of future work that emphasizes diagnostics, debugging, adversaries, and benchmarking in order to make interpretability tools more useful to engineers in practical applications.

연구 동기 및 목표

• 깊이 신경망에서의 내부 해석 가능성에 관한 300여 편 이상의 연구를 체계화하고 종합적으로 조사하기.
• 현재 해석 가능성 연구에서의 엄밀한 평가 및 진단 도구 부족 문제를 해결하기.
• 적대적 견고성, 지속 학습, 네트워크 압축과 같은 핵심 딥러닝 분야와 해석 가능성 간의 연결 고리를 규명하고 강조하기.
• 현재 해석 가능성 실천 방식이 실무적으로는 대부분 생산성이 없으며, 공 ingeering 중심의 진단 및 벤치마킹으로의 전환을 주장하기.
• 실제 AI 구현 환경에서의 디버깅, 적대적 테스팅, 기계적 이해를 지원하는 도구 개발을 촉진하기.

제안 방법

• 이중 축 분류 체계 제안: (1) 해석 대상이 되는 네트워크 구성 요소(가중치, 뉴런, 하위망, 잠재 표현), (2) 적용 시점(내재적 vs. 후행적).
• 해당 기법의 대상에 따라 기법을 분류—예를 들어, 뉴런 활성도 분석, 가중치 희소성, 하위망 해석, 표현 분리도 분석 등.
• 지속 학습(과제별 가중치 특화를 통한) 및 적대적 견고성(해석 가능성 기반 방어 설계)과 같은 다른 딥러닝 패러다임과 해석 가능성 통합.
• 실패 분석, 편향 탐지, 적대적 예제 탐색 등 실무적 진단을 위해 해석 가능성의 활용 강조.
• 순수한 설명 도구에서 실무적 디버깅 및 검증을 지원하는 진단 도구로의 전환 제안.
• 초인간 수준의 모델 행동을 역공학적으로 분석하고 이해하는 데 사용하는 '마이크로스코프 AI' 개념 도입.

Figure 1: A taxonomy of inner interpretability methods and hazards associated with them. This mirrors our organization of Sections II - V . We organize methods first by what part of the network’s computational graph they help to explain: weights , neurons , subnetworks , or latent representations .

실험 결과

연구 질문

• RQ1 해석 대상이 되는 네트워크 구성 요소와 적용 시점에 따라 해석 가능성 기법을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 적대적 견고성, 지속 학습, 모듈화와 같은 다른 딥러닝 연구 분야와 해석 가능성 간의 핵심 연결 고리는 무엇인가?
• RQ3 현재 해석 가능성 연구가 실무 기반 AI 공학에 있어 왜 생산성이 떨어지는 것으로 간주되는가?
• RQ4 해석 가능성 도구를 실무적 디버깅, 적대적 테스팅, 모델 진단에 더 유용하게 만들 수 있는 방법은 무엇인가?
• RQ5 특히 고성능 모델에서 해석 가능성은 기계적 이해 및 역공학적 분석을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 이 검토는 내부 해석 가능성에 관한 300여 편 이상의 연구를 식별하며, 대상 구성 요소와 적용 시점(intrinsic/post hoc)에 따라 분류하는 포괄적인 분류 체계를 수립한다.
• 해석 가능성은 적대적 견고성과 깊이 연결되어 있으며, 해석 가능성 도구를 통해 취약점을 드러내고 견고한 모델 설계를 이끌 수 있다.
• 지속 학습과 모듈러한 네트워크 설계는 특히 과제별 가중치 특화와 뉴런 역할 식별을 통해 해석 가능성의 도움을 받는다.
• 네트워크 압축 및 프루닝 기법은 해석 가능성에 의해 이끌릴 경우 향상되며, 활성도 기반 기준을 사용하는 '해석을 통한 프루닝'과 같은 방법을 통해 이를 입증한다.
• 후행적 해석 가능성 기법(예: 개념 봄브리지 모델, 어텐션 시각화)은 널리 사용되지만, 실무적 디버깅에 대한 진단 능력이 떨어지는 경우가 많다.
• 본 논문은 현재 해석 가능성 연구가 진단의 엄밀함을 결여하고 있으며, 실무적 유용성을 높이기 위해 벤치마킹, 적대적 테스팅, 엔지니어링 중심 평가를 요구한다.

Figure 2: Inner interpretability methods for weights can focus on (1) continual learning techniques that make weights specialize in particular tasks or (2) weight-masking techniques which learn a mask over weights as a way of discovering which weights are key for a certain task.