[논문 리뷰] Neural Stethoscopes: Unifying Analytic, Auxiliary and Adversarial Network Probing.

Fabian B. Fuchs, Oliver Groth외 5명|arXiv (Cornell University)|2018. 06. 14.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 5

한 줄 요약

이 논문은 분석적, 보조적, 적대적 탐지 기반으로 특정 요소가 딥 네URAL 네트워크에 미치는 영향을 정량화하고 제어하는 통합 프레임워크인 신경auscultation(신경 stethoscopes)을 소개한다. 이는 표적 손실 함수를 통해 예측의 편향을 제거하고 관련 특징 학습을 향상시킴으로써 시각적 물리 작업에서 모델의 강건성과 성능을 향상시킨다.

ABSTRACT

Model interpretability and systematic, targeted model adaptation present central tenets in machine learning for addressing limited or biased datasets. In this paper, we introduce neural stethoscopes as a framework for quantifying the degree of importance of specific factors of influence in deep networks as well as for actively promoting and suppressing information as appropriate. In doing so we unify concepts from multitask learning as well as training with auxiliary and adversarial losses. We showcase the efficacy of neural stethoscopes in an intuitive physicsdomain. Specifically, we investigate the challenge of visually predicting stability of block towers and demonstrate that the network uses visual cues which makes it susceptible to biases in the dataset. Through the use of stethoscopes we interrogate the accessibility of specific information throughout the network stack and show that we are able to actively de-bias network predictions as well as enhance performance via suitable auxiliary and adversarial stethoscope losses.

연구 동기 및 목표

• 딥 러닝에서 모델 편향과 제한된 데이터 문제를 해결하기 위해 신경망 내부의 특징 중요도를 체계적으로 조사할 수 있도록 하는 것.
• 다중 작업 학습, 보조 손실, 적대적 훈련의 개념을 하나의 설명 가능성 및 적응 프레임워크로 통합하는 것.
• 특정 정보 경로를 적극적으로 촉진하거나 억제함으로써 시각적 추론 작업에서 모델의 성능과 강건성을 향상시키는 것.
• 네트워크 스택 전반에 걸쳐 특정 요인의 접근 가능성에 대한 탐지 방법을 제공하는 것.

제안 방법

• 분석적 탐지를 사용하여 특정 요소가 네트워크 예측에 미치는 영향 정도를 정량화하는 신경auscultation 프레임워크 도입.
• 훈련 중 특정 관심 요소의 학습을 명시적으로 촉진하기 위해 보조auscultation 헤드를 활용.
• 네트워크의 결정 과정에서 부적절하거나 편향된 요소의 영향을 억제하기 위해 적대적auscultation 헤드를 적용.
• 정보 접근성과 제어를 균형 있게 유지하기 위해 표준, 보조, 적대적auscultation 손실의 조합으로 메인 네트워크를 훈련.
• auscultation 헤드가 병렬로 훈련되어 특징 표현을 모니터링하고 조절할 수 있도록 공유 인코더 아키텍처 사용.
• 시각적 단서에서 편향이 존재할 수 있는 데이터셋을 사용하여 시각적 물리 도메인—블록 타워의 안정성 예측—에 이 프레임워크를 적용.

실험 결과

연구 질문

• RQ1 신경auscultation은 특정 요소(예: 시각적 단서)가 딥 네트워크 예측에 미치는 영향을 어느 정도 정량화할 수 있는가?
• RQ2 보조auscultation 손실은 관련 정보를 촉진함으로써 모델 성능을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 적대적auscultation 손실은 모델 예측에서 편향되거나 부적절한 특징을 성공적으로 억제할 수 있는가?
• RQ4 분석적, 보조적, 적대적 탐지의 통합이 시각적 추론 작업에서 모델의 강건성과 설명 가능성에 어떻게 기여하는가?

주요 결과

• 신경auscultation은 네트워크가 블록 배열과 색상과 같은 시각적 단서에 의존하고 있음을 성공적으로 규명하였으며, 이는 데이터셋 편향에 취약하다.
• 보조auscultation 손실의 사용은 관련 물리적 추론 특징에 대한 모델의 접근성을 향상시킴으로써 예측 정확도를 향상시켰다.
• 적대적auscultation 손실은 편향된 시각적 단서에 대한 의존도를 효과적으로 감소시켜 더 강건하고 일반화된 예측을 가능하게 하였다.
• 통합 프레임워크는 네트워크 전반에서 특징 접근성에 대한 체계적 조사를 가능하게 하여 숨겨진 편향과 정보 차단 지점들을 드러내었다.