[논문 리뷰] Weakly Supervised Neuro-Symbolic Module Networks for Numerical Reasoning

Amrita Saha, Shafiq Joty외 1명|arXiv (Cornell University)|2021. 01. 28.

Topic Modeling참고 문헌 18인용 수 7

한 줄 요약

이 논문은 질문의 의존성 파싱에서 유도된 노이즈가 많은 히ュ리스틱 프로그램을 사용하여 정답 지도만으로 끝에서 끝까지 훈련하는, 수치 추론을 위한 약한 지도 학습 기반 신경-기호 모듈 네트워크(WNSMN)를 제안한다. 이는 신경 모듈과 기호 모듈을 대상으로 이산 동작을 통해 프로그램을 실행하고, 정답 정확도 기반 이산 보상으로 강화 학습을 통해 최적화한다. 이로 인해 DROP 데이터셋에서 NMN보다 32% 높은 정확도를 기록했고, GenBERT보다 8% 높은 성능을 보였다.

ABSTRACT

Neural Module Networks (NMNs) have been quite successful in incorporating explicit reasoning as learnable modules in various question answering tasks, including the most generic form of numerical reasoning over text in Machine Reading Comprehension (MRC). However, to achieve this, contemporary NMNs need strong supervision in executing the query as a specialized program over reasoning modules and fail to generalize to more open-ended settings without such supervision. Hence we propose Weakly-Supervised Neuro-Symbolic Module Network (WNSMN) trained with answers as the sole supervision for numerical reasoning based MRC. It learns to execute a noisy heuristic program obtained from the dependency parsing of the query, as discrete actions over both neural and symbolic reasoning modules and trains it end-to-end in a reinforcement learning framework with discrete reward from answer matching. On the numerical-answer subset of DROP, WNSMN out-performs NMN by 32% and the reasoning-free language model GenBERT by 8% in exact match accuracy when trained under comparable weak supervised settings. This showcases the effectiveness and generalizability of modular networks that can handle explicit discrete reasoning over noisy programs in an end-to-end manner.

연구 동기 및 목표

• 기존 신경 모듈 네트워크(NMNs)가 프로그램 실행과 정답 프로그램 주석을 위해 강한 지도 학습이 필요로 하는 한계를 해결하기 위해.
• 정밀한 지도 학습 없이도 정답 일치를 보상 신호로 사용하여 신경-기호 추론 모듈을 끝에서 끝까지 훈련할 수 있도록 하기 위해.
• 의존성 파싱에서 파생된 노이즈가 많은 히ュ리스틱 프로그램을 통해 학습함으로써 개방형 수치 추론 과제에서 일반화 능력을 향상시키기 위해.
• 약한 지도 학습 하에서 기호 모듈을 명시적으로 이산적으로 처리하는 추론이 순수 신경 모델이나 하이브리드 모델보다 우수한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 질문의 의존성 파싱 트리에서 왼쪽에서 오른쪽 순서로 순회하여 질의 스팬과 참조 인수를 포함한 프로그램 단계를 구성함으로써 노이즈가 많은 히ュ리스틱 프로그램을 생성한다.
• 각 프로그램 단계가 실체(날짜/숫자)의 신경 임베딩에 적용되는 이산 추론 연산(예: 최대값, 카운트)을 의미하는 신경-기호 프레임워크를 사용한다.
• 정답 정확도 기반 이산 보상을 사용하여 강화 학습 목표를 설정하며, 초수준 파라미터 λ를 사용한 볼록 조합을 통한 보수적 및 비보수적 동작 선택 전략을 적용한다.
• 연산자, 실체 유형, 인수 샘플링 모듈에 대해 노이즈가 많은 가짜 보상 신호를 도입하여, 가능성이 높은 정답 출력에 대한 음의 로그 우도를 통한 보조 지도 학습을 가능하게 한다.
• 기타 특정 표현(날짜/숫자)을 더 잘 추론하기 위해 통합 어텐션 메커니즘을 사용하여 문단 내에서 실체 기반 표현을 정렬한다.
• 희소 보상 환경에서 훈련을 안정화시키기 위해 반복 최대우도(IML) 목표를 적용하며, ε-그리디 유사 행동을 통해 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 정답 지도만으로, 정답 프로그램이나 실행 추적 없이도 신경-기호 모듈 네트워크가 수치 추론 MRC에서 높은 성능을 낼 수 있는가?
• RQ2 약한 지도 학습 환경에서 의존성 파싱에서 유도된 노이즈가 많은 히ュ리스틱 프로그램이 추론 기반으로 얼마나 효과적인가?
• RQ3 신경 실체 표현과 결합된 이산 기호 연산(예: 최대값, 카운트)이 강화 학습을 통해 효과적으로 학습될 수 있는가?
• RQ4 정답만으로 보상하는 끝에서 끝까지 훈련된 모델이 프로그램 구조나 실행 단계에 대해 강한 지도 학습이 필요한 모델보다 더 잘 일반화되는가?
• RQ5 가능성이 높은 행동에서 유도된 가짜 보상 신호가 희소 보상 환경에서 훈련의 안정성과 성능을 향상시킬 수 있는가?

주요 결과

• WNSMN은 동일한 약한 지도 학습 설정 하에서 DROP 데이터셋에서 NMN보다 정확도 정확도 기준으로 32% 상대적 향상을 기록했다.
• WNSMN은 정답 추론이 없는 언어 모델인 GenBERT보다 정확도 기준으로 8% 높은 성능을 보이며, 오직 정답 지도만으로도 명시적인 기호 추론의 이점을 입증했다.
• 의존성 파싱에서 파생된 노이즈가 많은 히ュ리스틱 프로그램을 통해 학습할 수 있기 때문에, 강한 지도 학습이 불가능한 개방형 설정으로도 효과적으로 일반화된다.
• 연산자, 실체 유형, 인수 샘플링 모듈에 대한 노이즈가 많은 가짜 보상의 사용은 특히 희소 보상 환경에서 훈련의 안정성과 성능을 향상시킨다.
• 낮은 λ 값을 사용한 반복 최대우도(IML) 목표는 탐색과 이용의 균형을 효과적으로 유지하여 과적합과 국소 최적값을 줄인다.
• 하이브리드 모델이 출력을 사전에 완전히 계산할 필요 없이도 복잡한 수치 연산(예: 최대값, 카운트)을 효과적으로 처리할 수 있다.