[논문 리뷰] A Read-Write Memory Network for Movie Story Understanding

Seil Na, Sang-Ho Lee외 2명|arXiv (Cornell University)|2017. 09. 27.

Multimodal Machine Learning Applications참고 문헌 24인용 수 15

한 줄 요약

이 논문은 다층 컨볼루션 네트워크를 사용하여 메모리 읽기 및 쓰기 연산을 수행하는 읽기-쓰기 메모리 네트워크(RWMN)를 제안한다. 이를 통해 다중모odal 영화 스토리 이해 능력을 향상시킨다. 순차적인 메모리 셀을 독립적인 단위가 아니라 청크로 간주함으로써 RWMN는 '왜?' 질문과 같은 복잡하고 추상적인 추론 작업에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

We propose a novel memory network model named Read-Write Memory Network (RWMN) to perform question and answering tasks for large-scale, multimodal movie story understanding. The key focus of our RWMN model is to design the read network and the write network that consist of multiple convolutional layers, which enable memory read and write operations to have high capacity and flexibility. While existing memory-augmented network models treat each memory slot as an independent block, our use of multi-layered CNNs allows the model to read and write sequential memory cells as chunks, which is more reasonable to represent a sequential story because adjacent memory blocks often have strong correlations. For evaluation, we apply our model to all the six tasks of the MovieQA benchmark, and achieve the best accuracies on several tasks, especially on the visual QA task. Our model shows a potential to better understand not only the content in the story, but also more abstract information, such as relationships between characters and the reasons for their actions.

연구 동기 및 목표

• 장기적이고 다중모달 영화 스토리를 이해하는 데 있어 사실 기반 및 추상적 추론이 요구되는 과제를 해결한다.
• 시계열 서사에서 장거리 의존성과 고수준 추상화를 포착하는 데 한계가 있는 RNN 및 표준 메모리 네트워크의 문제점을 해결한다.
• 특히 캐릭터 간 관계와 동기를 분석해야 하는 추론이 요구되는 복잡한 질문 유형—특히 '왜?' 질문—에서 성능을 향상시킨다.
• 메모리를 고립된 슬롯이 아닌 순차적 청크로 간주하는 메모리 메커니즘을 설계하여 스토리 진행 동안의 공간적 및 시간적 상관관계를 활용한다.

제안 방법

• 완전 연결 또는 어텐션 기반 메커니즘 대신 깊이 있는 컨볼루션 네트워크를 사용하여 메모리 읽기 및 쓰기 연산을 수행하는 새로운 메모리 네트워크 아키텍처인 RWMN를 도입한다.
• 읽기 및 쓰기 네트워크에 다층 컨볼루션 네트워크를 사용하여 순차적 메모리 셀을 연속적인 청크로 처리함으로써 계층적 특징 학습을 통해 고수준 표현을 포착한다.
• 필터 크기, 채널 수, 스트라이드 등의 하이퍼파라미터로 조정 가능한 학습 가능한 컨볼루션 필터를 읽기 및 쓰기 네트워크에 적용한다.
• RWMN 모델을 MovieQA 벤치마크에 적용하여 영상, 자막, 텍스트 입력을 사용해 다중모달 환경에서 여섯 가지 다른 질문 유형에 대한 답변을 수행한다.
• 정답 예측에 대해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시키며, 소프트 어텐션 메커니즘을 통해 관련된 시간적 세그먼트에 주목한다.
• 지표 어텐션 지도가 없는 상태에서 시간에 따라 어텐션 맵을 학습함으로써 장시간 영상에서 어디에 주목해야 할지 암묵적으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 CNN 기반의 읽기/쓰기 메커니즘이 장기적이고 다중모달 스토리 이해 과제에서 메모리 네트워크 성능을 향상시킬 수 있는가?
• RQ2 메모리를 고립된 슬롯이 아닌 순차적 청크로 모델링할 경우, 복잡한 서사에 대한 추론 능력이 향상되는가?
• RQ3 RWMN 모델이 영화 QA에서 추상적 추론 질문(예: '왜?')에 대해 기존 메모리 네트워크를 능가할 수 있는가?
• RQ4 읽기/쓰기 네트워크의 깊이와 아키텍처가 시각적 및 다중모달 QA 과제 성능에 어떤 영향을 미치는가?
• RQ5 RWMN가 명시적 지도 없이 장시간 영상에서 관련된 시간적 어텐션 위치를 어느 정도 암묵적으로 학습할 수 있는가?

주요 결과

• ICCVC2017 마감일 기준으로 RWMN는 MovieQA 테스트 세트의 여섯 과제 중 네 과제, 검증 세트의 다섯 과제 중 네 과제에서 최고 성능을 기록했다.
• 1층의 쓰기 네트워크와 1층의 읽기 네트워크를 사용한 영상+자막 과제에서 필터 설정 (40,30,3)과 (3,1,1)을 적용했을 때 정확도가 38.6% 향상되었다.
• RWMN는 MEMN2N 베이스라인에 비해 '왜?' 질문에서 크게 뛰어난 성능을 보이며 추상적이고 고수준의 추론을 처리하는 데 뛰어난 능력을 입증했다.
• 정성적 분석 결과, 모델의 어텐션은 종종 지표 어텐션 맵과 잘 일치하며, 일부 사례에서는 어텐션이 지표에서 벗어나더라도 정확한 답변을 내는 것으로 나타났다.
• 모델의 성능은 네트워크 깊이와 필터 설정에 민감하며, 읽기 및 쓰기 네트워크에서 2~3층일 때 최적의 성능을 기록했다.
• 2층의 쓰기 네트워크와 2층의 읽기 네트워크를 사용하고 필터 설정을 각각 (4,2,1)과 (4,2,1)로 설정했을 때, 영상+자막 과제에서 37.3%의 정확도를 기록했다.