[논문 리뷰] Neural Module Networks for Reasoning over Text

Nitish Gupta, Kevin Lin외 3명|arXiv (Cornell University)|2019. 12. 10.

Multimodal Machine Learning Applications참고 문헌 25인용 수 51

한 줄 요약

본 논문은 differentiable text-and-symbol 모듈과 auxiliary supervision을 도입하여 텍스트 문단에 대한 합성 질문에 답하기 위해 신경 모듈 네트워크를 확장하고, DROP 데이터셋의 하위 집합에서 강력한 성능을 달성한다.

ABSTRACT

Answering compositional questions that require multiple steps of reasoning against text is challenging, especially when they involve discrete, symbolic operations. Neural module networks (NMNs) learn to parse such questions as executable programs composed of learnable modules, performing well on synthetic visual QA domains. However, we find that it is challenging to learn these models for non-synthetic questions on open-domain text, where a model needs to deal with the diversity of natural language and perform a broader range of reasoning. We extend NMNs by: (a) introducing modules that reason over a paragraph of text, performing symbolic reasoning (such as arithmetic, sorting, counting) over numbers and dates in a probabilistic and differentiable manner; and (b) proposing an unsupervised auxiliary loss to help extract arguments associated with the events in text. Additionally, we show that a limited amount of heuristically-obtained question program and intermediate module output supervision provides sufficient inductive bias for accurate learning. Our proposed model significantly outperforms state-of-the-art models on a subset of the DROP dataset that poses a variety of reasoning challenges that are covered by our modules.

연구 동기 및 목표

• Open-domain 텍스트에 대한 합성 QA를 동기화하고 엔드-투-엔드 QA 감독의 도전을 강조한다.
• 문단에서 심볼릭 추론을 가능하게 하는 텍스트, 숫자, 날짜를 위한 differentiable 모듈을 도입한다.
• 중간 추론 및 정보 추출을 유도하기 위한 비감독 보조 손실을 제안한다.
• 제한된 감독 신호(질문 프로그램 및 모듈 출력)로 학습에 도움이 됨을 보인다.
• 해석 가능한 중간 출력으로 DROP 부분집합에서 상태-아웃 baselines 대비 개선된 성능을 보여준다.

제안 방법

• 질문을 신경 모듈로 구성된 실행 가능한 프로그램으로 구문 분석한다.
• 질문 및 문단 표현( GRU 또는 BERT )의 맥락적 토큰 임베딩에 대해 모듈을 바인딩한다.
• Q, P, N, D, C, TD, S에서 작동하는 Typed, differentiable 모듈 세트를 정의한다( find, filter, relocate, find-num, find-date, count, compare-*, time-diff, find-max-num, span ).
• 빔 탐색된 프로그램 세트에 대한 엔드-투-엔드 differentiable 마진 가능성으로 학습한다.
• find-num, find-date, relocate에 대해 지역적 인수 추출(window 내)을 촉진하는 비감독 보조 손실을 도입한다.
• 학습 부트스트래핑을 위해 데이터의 일부에 대해 질문 프로그램 및 중간 모듈 출력에 대해 제한된 휴리스틱 감독을 제공한다.

실험 결과

연구 질문

• RQ1 NMN이 자연어 텍스트에 대한 다단계의 심볼릭 추론을 수행하도록 적응될 수 있는가?
• RQ2 differentiable, probabilistic 모듈이 문단의 숫자, 날짜 및 범위에 대해 강건한 추론을 가능하게 하는가?
• RQ3 보조 감독이 개방형 도메인 텍스트 QA에서 질문 파서와 실행 가능한 모듈의 공동 학습을 개선하는가?
• RQ4 NMN 기반 접근이 DROP 파생 작업에서 기존 최첨단 모델과 비교했을 때 어떤 차이를 보이는가?
• RQ5 NMN을 더 넓은 DROP 질문으로 확장하는 데 있어 한계점과 향후 방향은 무엇인가?

주요 결과

• GRU를 사용하는 모델은 pruned DROP 테스트 세트에서 73.1 F1 및 69.6 EM을 달성하여 NAQANet(62.1 F1, 57.9 EM)을 능가한다.
• BERT 표현을 사용할 경우 모델은 77.4 F1 및 74.0 EM에 도달하여 MTMSN(76.5 F1)을 넘어선다.
• 보조 비감독 손실은 성능을 크게 향상시킨다( BERT 기반 변형에서 57.3에서 73.1 F1로 증가).
• 프로그램 및 중간 출력에 대한 간결한 휴리스틱 학습 감독은 추가 이득을 제공한다(5–10% 감독).
• 해당 접근 방식은 중간 모듈 출력으로 해석 가능성을 강조하고, 목표 지향적 오류 분석 및 잠재적 전이 학습을 가능하게 한다.