[논문 리뷰] Improving Interpretability of Deep Neural Networks with Semantic Information

Yinpeng Dong, Hang Su외 2명|arXiv (Cornell University)|2017. 03. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 17

한 줄 요약

이 논문은 예측 차이 최대화 알고리즘을 통해 뉴런 특징을 주제와 연결하고 인간이 개입하는 보완 과정을 가능하게 하여, 해석 가능한 손실을 통해 인간의 기술적 설명에서 추출한 의미 주제를 모델에 통합함으로써 영상 번역에서 딥 네ural 네트워크(DNN)의 해석 가능성 향상을 위한 방법을 제안한다. 인간 피드백 이후 20개의 테스트 영상 중 17개에서 예측 성능 향상이 관찰되어 더 정확하고 해석 가능한 번역을 달성한다.

ABSTRACT

Interpretability of deep neural networks (DNNs) is essential since it enables users to understand the overall strengths and weaknesses of the models, conveys an understanding of how the models will behave in the future, and how to diagnose and correct potential problems. However, it is challenging to reason about what a DNN actually does due to its opaque or black-box nature. To address this issue, we propose a novel technique to improve the interpretability of DNNs by leveraging the rich semantic information embedded in human descriptions. By concentrating on the video captioning task, we first extract a set of semantically meaningful topics from the human descriptions that cover a wide range of visual concepts, and integrate them into the model with an interpretive loss. We then propose a prediction difference maximization algorithm to interpret the learned features of each neuron. Experimental results demonstrate its effectiveness in video captioning using the interpretable features, which can also be transferred to video action recognition. By clearly understanding the learned features, users can easily revise false predictions via a human-in-the-loop procedure.

연구 동기 및 목표

• 영상 이해 작업에서 딥 네ural 네트워크(DNN)의 투명성 부족 문제를 해결하기 위해.
• 인간의 기술적 설명에서 추출한 의미 정보를 DNN에 통합함으로써 모델의 해석 가능성 향상하기 위해.
• 사용자가 인간이 개입하는 학습 절차를 통해 모델의 오류를 수정할 수 있도록 하기 위해.
• 학습된 특징을 의미적으로 유의미한 주제와 연관 짓는 방법 개발하기 위해.
• 영상 동작 인식과 같은 관련 작업으로 해석 가능성과 보완 능력을 이식할 수 있는 방법 개발하기 위해.

제안 방법

• 자연어 처리 기법을 사용하여 인간이 생성한 영상 번역에서 의미적으로 의미 있는 주제를 추출한다.
• 학습 중에 의미 주제와 일치하는 특징을 학습하도록 정규화하기 위해 해석 가능한 손실을 도입한다.
• 각 뉴런의 학습된 특징이 특정 주제와 연관되어 있음을 해석하기 위해 예측 차이 최대화 알고리즘을 제안한다.
• 사용자가 잘못된 예측에 대해 누락된 주제를 제공할 수 있도록 인간이 개입하는 학습을 가능하게 한다.
• 관련 훈련 샘플에서 누락된 주제와 연결된 뉴런의 평균 활성도를 높임으로써 활성도 향상을 수행한다.
• 보정 전파를 위해 미세조정 목표를 적용한다: 보정된 특징과 최적 특징 간의 L2 거리 최소화하면서 큰 매개변수 이동에 대한 페널티를 적용한다.

실험 결과

연구 질문

• RQ1 인간의 기술적 설명에서 추출한 의미 주제는 DNN의 은닉 특징을 해석하는 데 효과적으로 활용될 수 있는가?
• RQ2 인간이 개입하는 학습 절차를 통해 잘못된 예측를 수정함으로써 모델의 정확도 향상이 가능한가?
• RQ3 학습 중에 해석 가능성을 통합하면 사후 해석보다 더 나은 성능과 신뢰할 수 있는 예측을 이끌 수 있는가?
• RQ4 해석 가능성과 보완 메커니즘은 영상 동작 인식과 같은 다른 영상 이해 작업으로 이식 가능한가?
• RQ5 인간 피드백 이후 모델의 성능 변화는 어떻게 되며, 과적합 없이 일반화되는가?

주요 결과

• 제안된 방법은 개선된 테스트 데이터에서 BLEU 점수 0.449와 METEOR 점수 0.298를 달성하여 성능 향상이 일관되게 이루어졌고, 성능 저하 없이 개선됨을 시사한다.
• 인간이 개입하는 보완 이후, 잘못된 예측를 보인 20개의 테스트 영상 중 17개에서 후반부 예측이 더 정확한 번역으로 향상되어 효과적인 오류 수정이 이루어짐을 입증한다.
• 피드백 이후 모델은 '북극곰', '오토바이', '춤'과 같은 주목할 만한 시각적 개념을 성공적으로 탐지하고 강조하여 일반화 능력 향상됨을 보였다.
• 특징의 해석 가능성은 크게 향상되었으며, 각 뉴런의 활성도는 '도로' 또는 '수영'과 같은 의미 주제와 의미 있게 연결될 수 있었다.
• 보정 전파 방법은 과적합 없이 인코더를 개선된 특징을 생성하도록 미세조정하는 데 효과적이었으며, 균형 잡힌 L2 정규화 항을 통해 이를 입증하였다.
• 해석 가능성 프레임워크는 영상 동작 인식으로도 이식 가능하여 번역을 넘어서 보다 넓은 적용 가능성을 보였다.