[논문 리뷰] Finding ReMO (Related Memory Object): A Simple Neural Architecture for Text based Reasoning

Jihyung Moon, Hyochang Yang외 1명|arXiv (Cornell University)|2018. 01. 25.

Topic Modeling참고 문헌 11인용 수 8

한 줄 요약

이 논문은 관계 메모리 네트워크(RMN)를 제안하며, 복잡한 상관계리 추론을 위해 메모리 네트워크 프레임워크 내에서 다층퍼셉트론(MLP)을 사용하여 관련 메모리 객체(ReMO)를 식별하는 새로운 신경망 아키텍처이다. 기존의 어텐션 또는 내적 기반 메커니즘 대신 MLP 기반 출력 특징 맵을 도입함으로써, bAbI 스토리 기반 및 대화 기반 질의응답 작업에서 최고 성능을 달성하며, 특히 대규모 메모리 세트를 가진 다단계 추론 시나리오에서 뛰어난 성능을 발휘한다.

ABSTRACT

To solve the text-based question and answering task that requires relational reasoning, it is necessary to memorize a large amount of information and find out the question relevant information from the memory. Most approaches were based on external memory and four components proposed by Memory Network. The distinctive component among them was the way of finding the necessary information and it contributes to the performance. Recently, a simple but powerful neural network module for reasoning called Relation Network (RN) has been introduced. We analyzed RN from the view of Memory Network, and realized that its MLP component is able to reveal the complicate relation between question and object pair. Motivated from it, we introduce which uses MLP to find out relevant information on Memory Network architecture. It shows new state-of-the-art results in jointly trained bAbI-10k story-based question answering tasks and bAbI dialog-based question answering tasks.

연구 동기 및 목표

• 메모리 네트워크 내에서 상관계리 추론을 향상시켜 텍스트 기반 질의응답 성능을 향상시키기.
• 기존 모델이 대규모 메모리와 복잡한 관계를 효율적으로 처리하는 데에 한계가 있음을 해결하기.
• 다중 힙에서 관련 지원 문장(ReMO)을 효과적으로 식별하는 방법 개발하기.
• bAbI 데이터셋에서 MemN2N, DMN+, RN과 같은 이전 모델을 초월하는 추론 정확도 확보하기.
• MLP 기반 메커니즘을 통해 관련 문장 쌍에 집중함으로써 고관계 시나리오에서 데이터 효율적인 학습 가능하게 하기.

제안 방법

• RMN은 메모리 네트워크의 출력 특징 맵에 다층퍼셉트론(MLP)을 통합하여 질문과 메모리 객체 간의 복잡한 관계를 모델링한다.
• 모델은 입력 문장과 질문을 밀집 벡터 표현으로 변환하기 위해 임bedding 레이어를 사용한다.
• 어텐션 메커니즘을 적용하여 질문과 각 메모리 객체 간의 관련도 점수(α)를 계산함으로써 선택적 집중을 가능하게 한다.
• 일반화 단계는 이미 사용된 정보를 삭제함으로써 메모리를 업데이트하고, 다단계 추론을 지원한다.
• 추론 컴포onent은 어텐션을 통해 식별된 가장 관련성이 높은 메모리 객체 기반으로 최종 답변을 계산하는 데에 MLP를 사용한다.
• 질의-응답 쌍에 대한 교차 엔트로피 손실을 사용하여 경사 하강법으로 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 기존의 내적 또는 어텐션 기반 메커니즘과 비교해, MLP 기반 출력 특징 맵이 메모리 네트워크 내 상관계리 추론을 향상시키는가?
• RQ2 제안된 RMN 모델은 증가하는 지원 문장 수를 가진 다단계 추론 작업에서 어떻게 성능을 내는가?
• RQ3 특히 대규모 메모리 환경에서 불필요한 문장 쌍의 수가 증가할 경우에도 모델은 높은 성능을 유지하는가?
• RQ4 대화 기반 추론 작업에서 OOV(보편 어휘 외) 입력에 대해 RMN은 효과적으로 일반화되는가?
• RQ5 RMN의 어텐션 메커니즘은 불필요한 관계를 걸러내면서도 핵심 지원 사실을 유지하는 데 어떻게 기여하는가?

주요 결과

• RMN은 bAbI-10k 스토리 기반 질의응답 작업에서 기존의 모든 모델, 특히 DMN+와 RN을 초월하는 최고 성능을 달성한다.
• bAbI 대화 기반 QA 데이터셋에서, 1 힙 작업과 1번 작업(1개의 지원 문장)에서는 오류율 0.0%를 기록하여 단순한 케이스에서 완벽한 성능을 보였다.
• 2번 작업(2개의 지원 문장)에서는 오류율 0.5%를 기록하여 이전 모델보다 유의미하게 낮은 오류율을 기록하며 다단계 추론에서 강력한 성능을 입증했다.
• 3번 작업(3개의 지원 문장)에서는 오류율 14.7%를 기록하여 힙 수가 증가함에 따라 유연성과 내구성을 보였다.
• 어텐션 가중치(α)의 시각화 결과, RMN은 일반 및 OOV 테스트 케이스 모두에서 레스토랑 정보와 사용자 요청과 같은 관련 메모리 객체를 정확히 식별함을 확인했다.
• OOV 시나리오에서도 높은 정확도를 유지하였으며, 예를 들어 1번 작업(OOV)에서 비록 새로운 단어가 포함되었지만도 API 호출을 정확히 생성함으로써 강력한 일반화 능력을 보였다.