[논문 리뷰] Learning What to Remember: Long-term Episodic Memory Networks for Learning from Streaming Data

Hyunwoo Jung, Moonsu Han외 2명|arXiv (Cornell University)|2018. 12. 11.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 강화학습 기반 메모리 관리 프레임워크인 장기적 에피소드 메모리 네트워크(LEMN)를 제안한다. LEMN는 상대적 중요도와 역사적 중요도를 평가하여 스트리밍 데이터에서 중요한 메모리 항목을 선택적으로 유지하는 방식으로 작동한다. LEMN는 경로 탐색, 에피소드 기반 질의응답, 장문의 질문 응답 작업에서 규칙 기반 및 기준 강화학습 방법보다 뛰어난 성능을 보이며, 장기적인 정보성 콘텐츠를 유지하기 위해 동적으로 메모리를 관리한다.

ABSTRACT

Current generation of memory-augmented neural networks has limited scalability as they cannot efficiently process data that are too large to fit in the external memory storage. One example of this is lifelong learning scenario where the model receives unlimited length of data stream as an input which contains vast majority of uninformative entries. We tackle this problem by proposing a memory network fit for long-term lifelong learning scenario, which we refer to as Long-term Episodic Memory Networks (LEMN), that features a RNN-based retention agent that learns to replace less important memory entries based on the retention probability generated on each entry that is learned to identify data instances of generic importance relative to other memory entries, as well as its historical importance. Such learning of retention agent allows our long-term episodic memory network to retain memory entries of generic importance for a given task. We validate our model on a path-finding task as well as synthetic and real question answering tasks, on which our model achieves significant improvements over the memory augmented networks with rule-based memory scheduling as well as an RL-based baseline that does not consider relative or historical importance of the memory.

연구 동기 및 목표

• 대규모 연속적 데이터 스트림을 처리할 때 메모리 증강 네트워크의 확장성 도전 과제를 해결한다.
• 고정 용량 메모리의 한계를 극복하기 위해 수명 주기 학습 시나리오에서 중요하지 않은 항목을 자동으로 제거할 수 있도록 학습한다.
• 메모리 항목 간의 상대적 중요도와 그 역사적 중요도를 모두 고려하는 유지 메커니즘을 개발한다.
• 미래 작업에 대한 사전 지식 없이도 효율적인 장기 메모리 관리를 가능하게 한다.
• 의미적으로 핵심적인 정보를 유지함으로써 순차적이고 장기적 맥락 추론 작업 성능을 향상시킨다.

제안 방법

• 스페이셜-타임리얼 RNN 기반의 유지 에이전트를 도입하여 각 메모리 항목의 유지 확률을 계산한다.
• 미래 작업 성능을 최대화하기 위해 유지 결정을 통해 유지 에이전트를 강화학습으로 훈련시킨다.
• 콘텐츠 기반 주소 지정을 사용하여 고정 크기 N인 외부 메모리 모듈에서 읽고 쓴다.
• 기본 네트워크(예: BiDAF)와 유지 에이전트를 통합하여 순차적 입력을 처리하고 메모리를 선택적으로 업데이트한다.
• 현재 관련성과 역사적 중요도를 기반으로 유지 점수를 계산하여 장기적 메모리 보존을 가능하게 한다.
• 메모리 업데이트가 필요한 경우에만 단계적으로 처리함으로써 스트리밍 데이터에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 미래 작업 지식 없이 스트리밍 데이터에서 장기적 에피소드 메모리를 효과적으로 관리할 수 있는가?
• RQ2 메모리 항목의 상대적 중요도와 역사적 중요도를 모두 고려함으로써 규칙 기반 또는 비맥락 기반 강화학습 방법보다 유지 성능이 향상되는가?
• RQ3 제안된 LEMN 프레임워크는 질문 응답 및 경로 탐색과 같은 장기적 맥락 추론 작업에서 어떻게 성능을 내는가?
• RQ4 유지 메커니즘이 장기간에 걸쳐 의미적으로 핵심적인 정보를 얼마나 잘 보존하는가?
• RQ5 다양한 메모리 요구 사항과 데이터 스트림 길이를 가진 다양한 작업에 대해 모델이 일반화 가능한가?

주요 결과

• LEMN는 모든 작업에서 FIFO(선입선출) 스케줄링보다 뚜렷하게 뛰어나며, 검증된 TriviaQA 서브셋에서 45.21%의 ExactMatch를 기록했다.
• ST-LEMN 버전은 TriviaQA의 원격 지도 학습 세트에서 49.04%의 F1 스코어를 기록하여 모든 기준선을 초월했다.
• 에피소드 기반 질의응답의 Large 작업에서 IM-LEMN는 오류율을 FIFO의 32.40에서 9.00으로 감소시켜 강력한 일반화 능력을 입증했다.
• ST-LEMN 모델은 Noisy 작업에서 3.90의 오류율을 기록하여 다음으로 우수한 방법보다 40% 이상 뛰어났다.
• 시각화 결과 LEMN가 'Italy'와 같은 핵심 실체를 메모리에 유지하면서 관련 없는 문장을 기각하는 것으로 확인되었다.
• 제거 실험 결과 역사적 중요도를 통합함으로써 성능 향상이 이루어졌으며, 유지 결정에서 시간적 맥락의 가치를 확인했다.