[논문 리뷰] Self-Assembling Modular Networks for Interpretable Multi-Hop Reasoning

Yichen Jiang, Mohit Bansal|arXiv (Cornell University)|2019. 09. 12.

Topic Modeling참고 문헌 32인용 수 4

한 줄 요약

이 논문은 HotpotQA에서 다중 힙 질문 이해를 위한 해석 가능한 다중 힙 질의 응답을 위한 동적 컨트롤러 기반 모듈 조합을 갖춘 자기 조립형 신경 모듈 네트워크(NMN)를 제안한다. 모델은 Find, Relocate, Compare 및 NoOp 모듈을 사용하며, 소프트 레이아웃을 예측하는 컨트롤러 RNN에 의해 이끌린다. 질문 분해, 전문가 레이아웃 일치, 중간 다리 엔티티 추론을 통해 높은 해석 가능성과 함께 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-hop QA requires a model to connect multiple pieces of evidence scattered in a long context to answer the question. The recently proposed HotpotQA (Yang et al., 2018) dataset is comprised of questions embodying four different multi-hop reasoning paradigms (two bridge entity setups, checking multiple properties, and comparing two entities), making it challenging for a single neural network to handle all four. In this work, we present an interpretable, controller-based Self-Assembling Neural Modular Network (Hu et al., 2017, 2018) for multi-hop reasoning, where we design four novel modules (Find, Relocate, Compare, NoOp) to perform unique types of language reasoning. Based on a question, our layout controller RNN dynamically infers a series of reasoning modules to construct the entire network. Empirically, we show that our dynamic, multi-hop modular network achieves significant improvements over the static, single-hop baseline (on both regular and adversarial evaluation). We further demonstrate the interpretability of our model via three analyses. First, the controller can softly decompose the multi-hop question into multiple single-hop sub-questions to promote compositional reasoning behavior of the main network. Second, the controller can predict layouts that conform to the layouts designed by human experts. Finally, the intermediate module can infer the entity that connects two distantly-located supporting facts by addressing the sub-question from the controller.

연구 동기 및 목표

• 증거가 긴 문맥에 산재해 있으며 다중 추론 단계가 필요한 다중 힙 질문 이해 과제를 해결하기 위해.
• 질의의 추론 유형에 따라 다양한 추론 모듈을 동적으로 조합할 수 있는 모듈형 신경망을 설계하기 위해.
• 질의를 하위 질문으로 분해하고 인간이 설계한 계획과 유사한 추론 레이아웃을 예측함으로써 해석 가능성을 향상시키기 위해.
• 컨트롤러 기반 모듈 선택과 중간 추론 추적을 통해 HotpotQA에서 높은 성능를 달성하면서도 추론 단계의 투명성을 유지하기 위해.

제안 방법

• 컨트롤러 RNN이 각 추론 단계에서 Find, Relocate, Compare, NoOp의 네 가지 모듈에 대한 분포를 예측함으로써 소프트 레이아웃을 생성한다.
• Find 모듈은 질문과 문맥 임베딩 간의 양방향 어텐션을 통해 표준 스파닝 추출을 수행한다.
• Relocate 모듈은 이전 답변에 조건을 두어 주의를 새로운 하위 질문으로 이동시켜 순차적 추론을 가능하게 한다.
• Compare 모듈은 두 이전 모듈의 출력을 비교하여 '예/아니오' 질문에 답하며, '같은가', '다른가'와 같은 질문 힌트를 사용한다.
• NoOp 모듈은 더 이상 추론이 필요하지 않을 경우 현재 상태를 유지한다.
• 모델은 미분 가능한 스택 기반 메모리와 연속적인 레이아웃 예측을 사용하여 기울기 하강법을 통한 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 질의 유형에 따라 추론 모듈을 동적으로 조합할 수 있는 신경 모듈형 네트워크가 다중 힙 QA 과제를 해결할 수 있는가?
• RQ2 컨트롤러 RNN이 복잡한 질문을 인간의 구성적 추론을 반영하는 의미 있는 하위 질문으로 분해하는 데 얼마나 효과적인가?
• RQ3 예측된 모듈형 레이아웃이 다양한 추론 패러다임에 대해 인간이 설계한 전문가 레이아웃과 얼마나 일치하는가?
• RQ4 모델은 추론 체인에서 떨어진 지지 사실들을 연결하는 중간 다리 엔티티를 추론할 수 있는가?
• RQ5 BERT를 문맥 인코더로 통합하면 성능 향상과 함께 모듈형 아키텍처의 해석 가능성은 유지되는가?

주요 결과

• 모델은 HotpotQA에서 표준 평가 및 악성 평가 모두에서 정적 단일 힙 베이스라인보다 뚜렷한 성능 향상을 보였다.
• 브릿지 유형 질문에서 컨트롤러는 인간 전문가의 설계와 99.9% 일치하는 레이아웃을 예측했으며, '예/아니오' 답변을 가진 비교 유형 질문에서는 68.6% 일치율을 기록했다.
• 컨트롤러는 다중 힙 질문을 하위 질문으로 성공적으로 분해했으며, 분석한 4개의 예제에서 어텐션 맵이 의도된 추론 단계와 일치했다.
• 브릿지 유형 질문에서 중간 다리 엔티티(예: '샤릴 템플')를 100% 정확하게 식별하여 효과적인 추론 체인 구성 능력을 입증했다.
• BERT 임베딩을 통합한 결과, 모델은 56.63 EM과 71.26 F1을 기록했으며, 미세조정된 BERT-base 성능을 정확히 따라가면서도 뛰어난 해석 가능성을 확보했다.
• BERT를 통합한 NMN 컨트롤러는 비교 유형 질문에서 전문가 레이아웃과 96.9% 일치율을 기록했으며, 비-BERT 버전보다 유의미하게 뛰어난 성능을 보였다.