[논문 리뷰] Compositional Attention Networks for Interpretability in Natural Language Question Answering

Selvakumar Murugan, Suriyadeepan Ramamoorthy외 2명|arXiv (Cornell University)|2018. 10. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 8인용 수 5

한 줄 요약

이 논문은 구성적 어휘주의와 반복적 추론을 활용하여 단계별 논리적 추론를 추적하는 해석 가능한 자연어 질의 응답을 위한 수정된 MAC 네트워크를 제안한다. bAbI 작업에서 높은 데이터 효율성과 해석 가능성을 달성하였으며, 어휘주의 분포는 세분화된 추론 경로를 드러낸다.

ABSTRACT

MAC Net is a compositional attention network designed for Visual Question Answering. We propose a modified MAC net architecture for Natural Language Question Answering. Question Answering typically requires Language Understanding and multi-step Reasoning. MAC net's unique architecture - the separation between memory and control, facilitates data-driven iterative reasoning. This makes it an ideal candidate for solving tasks that involve logical reasoning. Our experiments with 20 bAbI tasks demonstrate the value of MAC net as a data-efficient and interpretable architecture for Natural Language Question Answering. The transparent nature of MAC net provides a highly granular view of the reasoning steps taken by the network in answering a query.

연구 동기 및 목표

• 어휘주의 추적을 통해 추론 단계를 투명하게 만듦으로써 신경망 질의 응답의 해석 가능성을 향상시키기.
• 시각적 질의 응답을 위한 MAC Net 아키텍처를 자연어 추론 작업에 적응시키기.
• bAbI 데이터셋에서 모델의 성능과 해석 가능성을 평가하여 데이터 효율성과 추론 투명성에 중점을 두기.
• 아키텍처 구성 요소가 모델 성능과 추론 정확성에 미치는 영향을 조사하기.

제안 방법

• 시각적 특징을 텍스트의 문맥 임베딩으로 대체하여 원래 시각적 질의 응답을 위한 MAC Net 아키텍처를 수정한다.
• 이전 추론 단계에 조건화된 반복적인 어휘주의 질의를 생성하기 위해 제어 유닛을 사용하여 다단계 추론을 가능하게 한다.
• 스토리 표현과 질의 키워드에 대한 어휘주의를 통합하여 관련 증거를 단계별로 검색하는 읽기 유닛을 활용한다.
• 추론 상태를 단계 간에 유지하고 업데이트하는 메모리 메커니즘을 도입하여 동적이고 반복적인 추론을 가능하게 한다.
• 스토리와 질의에 대한 어휘주의 분포를 사용하여 각 추론 단계를 시각화하고 해석한다.
• 제어어와 이전 메모리 상태를 가중치 어휘주의를 통해 조합하여 그래프 추론을 적용함으로써 추론의 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 원래 시각적 질의 응답을 위해 설계된 MAC Net 아키텍처가 자연어 질의 응답에 대해 유사한 해석 가능성을 유지하면서 효과적으로 적응될 수 있는가?
• RQ2 모델의 성능은 추론 단계 수에 따라 어떻게 변할까? bAbI 작업에서 최적의 추론 깊이는 얼마인가?
• RQ3 공유된 vs. 별도의 LSTM, 메모리 액세스, 그래프 추론과 같은 아키텍처 구성 요소가 정확도와 해석 가능성에 얼마나 영향을 미치는가?
• RQ4 감소된 데이터 서브셋으로 훈련했을 때 모델의 일반화 능력은 어떠한가? 제안된 아키텍처의 데이터 효율성은 얼마인가?

주요 결과

• 모델은 bAbI 데이터셋의 10%만으로도 79.4%의 정확도를 달성하여 뛰어난 데이터 효율성을 입증하였다.
• 성능은 2단계 추론에서 최고에 도달하였고, 추가 단계는 성능 저하를 초래하여 대부분의 bAbI 작업이 짧은 추론 체인만 필요함을 시사한다.
• 제어 유닛에서 이전 메모리에 대한 액세스를 제거하면 성능이 급격히 떨어졌으며, 이는 메모리 유지가 추론에 있어 필수적임을 강조한다.
• 제거 실험 결과, 스토리와 질문 인코딩에 별도의 LSTM을 사용할 경우 정확도가 1% 감소하여 공유 인코딩에 미치는 이점이 미미함을 보여주었다.
• 모델의 어휘주의 분포는 'Jessica는 누구인가요?'를 먼저 집중하고, 다음으로 '쥐들은 무엇을 무서워합니까?'에 집중하는 등 단계별로 세분화된 추론 경로를 해석 가능한 방식으로 제공하였다.
• 각 단계에서 스토리를 재읽음으로써 정보 통합이 향상되었으며, 이는 단계 간의 맥락적으로 관련된 사실들을 어휘주의 패턴을 통해 통합함으로써 확인되었다.