[논문 리뷰] Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data

Moonsu Han, Minki Kang외 2명|arXiv (Cornell University)|2019. 03. 14.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 향후 질문-답변 정확도를 극대화하기 위해 스트리밍 텍스트 또는 영상 데이터로부터 기억 항목을 선택적으로 저장하고 교체하는 엔드 투 엔드 강화학습 모델인 에피소딕 메모리 리더(EMR)를 제안한다. 기억 항목 간의 상대적 중요도를 학습하고, 강화학습을 통해 훈련된 정책 네트워크를 사용함으로써, EMR는 TriviaQA와 TVQA에서 규칙 기반 및 기준 강화학습 방법보다 뚜렷이 뛰어난 성능을 보이며, 장기적이고 메모리 제약이 있는 QA 시나리오에서 뛰어난 성능을 입증한다.

ABSTRACT

We consider a novel question answering (QA) task where the machine needs to read from large streaming data (long documents or videos) without knowing when the questions will be given, which is difficult to solve with existing QA methods due to their lack of scalability. To tackle this problem, we propose a novel end-to-end deep network model for reading comprehension, which we refer to as Episodic Memory Reader (EMR) that sequentially reads the input contexts into an external memory, while replacing memories that are less important for answering \emph{unseen} questions. Specifically, we train an RL agent to replace a memory entry when the memory is full, in order to maximize its QA accuracy at a future timepoint, while encoding the external memory using either the GRU or the Transformer architecture to learn representations that considers relative importance between the memory entries. We validate our model on a synthetic dataset (bAbI) as well as real-world large-scale textual QA (TriviaQA) and video QA (TVQA) datasets, on which it achieves significant improvements over rule-based memory scheduling policies or an RL-based baseline that independently learns the query-specific importance of each memory.

연구 동기 및 목표

• 메모리 용량을 초과하는 컨텍스트와 처리 후에 도착하는 질문을 가진 스트리밍 데이터에서의 질문 응답 도전 과제를 해결한다.
• 모든 컨텍스트를 메모리에 저장해야 하는 기존 QA 모델의 한계를 극복하여 장기적이고 순차적인 입력을 처리할 수 있도록 한다.
• 미래의 QA 작업을 위해 가장 정보적인 컨텍스트를 우선순위화하고 유지하는 메모리 증강 네트워크를 개발한다.
• 기억 항목 간의 상대적 중요도를 기반으로 메모리 교체를 스케줄링하는 강화학습 에이전트를 훈련시켜 향후 QA 정확도를 극대화한다.
• 메모리 제약 조건 하에서 실제 세계의 대규모 텍스트 및 영상 QA 데이터셋에서 모델을 검증한다.

제안 방법

• 스트리밍 입력(텍스트 또는 영상 프레임)의 인코딩된 표현을 순차적으로 외부 에피소딕 메모리에 저장한다.
• GRU 또는 트랜스포머 아키텍처를 사용해 메모리 항목을 인코딩하고, 항목 간의 상대적 중요도를 모델링한다.
• 메모리가 가득 찬 경우 어떤 메모리 항목을 교체할지 결정하기 위해 강화학습 에이전트를 훈련시으며, 향후 QA 정확도를 극대화하는 것을 목표로 한다.
• 질의 관련성과 문장 간 중요도를 모두 고려하는 정책 및 가치 네트워크를 사용해 메모리 스케줄링을 순차적 의사결정 문제로 공식화한다.
• 영상 프레임 간 높은 冗 redundancy 가 존재해 가치 함수 추정이 불안정한 TVQA에서 훈련하기 위해 REINFORCE를 사용한다.
• 메모리 모듈을 QA 헤드(예: 영상 QA용 다중 스트림 모델)와 통합하여 메모리 선택과 답변 예측을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 미래 질문에 대한 사전 지식 없이 스트리밍 데이터에서 가장 정보적인 컨텍스트를 유지할 수 있는가?
• RQ2 질의에 특화되거나 독립적인 중요도 추정 방식과 비교해, 메모리 항목 간의 상대적 중요도를 모델링함으로써 QA 성능은 얼마나 향상되는가?
• RQ3 특히 장기적 컨텍스트 시나리오에서, 추론 시 미리 보지 못한 메모리 크기에 대해 EMR 모델의 일반화 능력은 어느 정도인가?
• RQ4 메모리 인코딩에 트랜스포머를 사용할 경우, 기억 항목 간의 장거리 의존성을 포착하는 데 RNN 대비 성능 향상이 이루어지는가?
• RQ5 실제 QA 작업에서 규칙 기반 또는 기준 강화학습 방법에 비해 강화학습 기반 메모리 스케줄링 정책은 얼마나 효과적인가?

주요 결과

• EMR는 규칙 기반 메모리 스케줄링 정책과 상대적 중요도를 모델링하지 않는 강화학습 기반 기준 모델보다 TriviaQA 및 TVQA 양쪽에서 뚜렷이 뛰어난 성능을 보였다.
• TVQA에서 EMR-Transformer는 특히 메모리 크기가 작을 경우 가장 높은 정확도를 기록했으며, 이는 기억 항목 간의 전역적 상대적 중요도를 모델링할 수 있기 때문이다.
• EMR 변종과 기준 모델 간의 성능 격차는 메모리 크기가 작을수록 가장 두드러지며, 이는 선택적 기억 유지의 효과를 시사한다.
• 훈련 중에 볼 수 없었던 메모리 크기(최대 60까지)에서도 EMR는 강력한 성능을 유지하며, 양호한 일반화 능력을 보였다.
• 정성적 분석 결과, EMR는 미래 질문을 모른다는 점을 감안할 때도 의미적으로 중요한 프레임과 자막(예: 핵심 행동이나 대화)을 유지하는 것으로 확인되었다.
• TVQA에서 REINFORCE를 사용한 훈련은 높은 레이턴시를 보이는 영상 프레임의 冗 redundancy 를 처리하는 데 효과적이었으며, 가치 기반 방법이 보상 신호의 안정성 부족으로 실패하는 상황에서 유의미한 성능을 보였다.