[논문 리뷰] Scene Memory Transformer for Embodied Agents in Long-Horizon Tasks

Kuan Fang, Alexander Toshev외 2명|arXiv (Cornell University)|2019. 03. 09.

Multimodal Machine Learning Applications참고 문헌 51인용 수 17

한 줄 요약

이 논문은 시각적 탐색에서 장기적 시간 간격의 의존성을 모델링하기 위해 임베딩된 과거 관측값 집합에 대한 자기주의를 사용하는 메모리 기반 강화학습 정책인 Scene Memory Transformer(SMT)을 제안한다. SMT는 고정 크기의 상태 압축 없이도 확장 가능한 주의 기반 메모리 액세스를 통해 반응형 및 RNN 기반 정책보다 로밍, 커버리지, 탐색 작업 전반에서 뛰어난 성능을 발휘한다.

ABSTRACT

Many robotic applications require the agent to perform long-horizon tasks in partially observable environments. In such applications, decision making at any step can depend on observations received far in the past. Hence, being able to properly memorize and utilize the long-term history is crucial. In this work, we propose a novel memory-based policy, named Scene Memory Transformer (SMT). The proposed policy embeds and adds each observation to a memory and uses the attention mechanism to exploit spatio-temporal dependencies. This model is generic and can be efficiently trained with reinforcement learning over long episodes. On a range of visual navigation tasks, SMT demonstrates superior performance to existing reactive and memory-based policies by a margin.

연구 동기 및 목표

• 과거 관측값이 현재 행동에 결정적으로 영향을 주는 부분적으로 관측 가능한, 새로운 환경에서의 장기적 시간 간격 의사결정 문제를 해결한다.
• 장기적인 시공간적 의존성을 포착하는 데 한계가 있는 RNN 및 고정 구조의 메모리 모델의 한계를 극복한다.
• 개별 관측값 임베딩을 유지하고 주의 기반 집합 연산을 통해 집계를 연기하는 유연하고 확장 가능한 메모리 메커니즘을 설계한다.
• 장기적 시간 간격 탐색 작업에서 정책 네트워크에 RNN 대신 주의 메커니즘을 사용할 경우의 효과를 입증한다.

제안 방법

• 각 관측값(이미지, 깊이, 자세, 행동)을 에피소드 길이에 비례하여 선형적으로 증가하는 시나리오 메모리에 별도의 임베딩으로 저장한다.
• 현재 관측값을 기반으로 시나리오 메모리에 대해 다중 헤드 자기주의를 적용하는 트랜스포머 기반 정책 네트워크를 사용하여 행동을 계산한다.
• 메모리 크기가 임계값을 초과할 경우, 이차적 계산 복잡도를 선형으로 줄이기 위해 메모리 분해를 적용한다.
• 경험 재생과 타겟 네트워크를 사용하여 딥 Q러닝(DQN)을 통해 SMT 정책을 엔드 투 엔드로 훈련시킨다.
• 관측값 임베딩에 RGB 이미지, 깊이 맵, 에이전트 자세, 이전 행동 등의 다중 모odal 입력을 통합한다.
• 메모리 저장 이전에 rich한 시공간적 특징을 추출하기 위해 시각 트랜스포머 인코더를 사용하여 시각 입력을 처리한다.

실험 결과

연구 질문

• RQ1 주의 기반 메모리 메커니즘이 장기적 시간 간격의 시각적 탐색 작업에서 RNN 기반 및 반응형 정책보다 뛰어난 성능을 내는가?
• RQ2 시나리오 메모리의 크기가 다양한 탐색 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 관측값 모odal(예: 깊이, RGB, 자세, 행동) 중에서 SMT의 성능에 가장 중요한 것은 무엇인가?
• RQ4 트랜스포머 기반 주의 메커니즘이 순환 또는 지ap 기반 메모리에 비해 장기적 의존성 모델링을 얼마나 향상시키는가?
• RQ5 메모리 분해 기법은 대규모 메모리 환경에서 계산 비용을 줄이면서도 성능을 유지할 수 있는가?

주요 결과

• SMT는 로밍, 커버리지, 탐색의 세 가지 작업 전반에서 반응형 정책 및 LSTM 기반 기준선보다 뚜렷이 뛰어나며, 성공률과 궤적 효율성에서 일관된 향상을 보였다.
• 더 큰 메모리 용량일수록 성능 향상이 뚜렷하다—특히 커버리지 및 탐색 작업에서 SMT가 장기적 시간 간격 메모리를 효과적으로 활용할 수 있음을 보여준다.
• 깊이 이미지, 자세, 마지막 행동이 가장 중요한 모달이다; 이들을 제거하면 성능이 심각하게 저하되며(예: 탐색 작업에서 15~20점의 보상 감소), 이는 그 중요성을 시사한다.
• 시각 인코더가 크게 기여하여 가장 복잡한 탐색 작업에서 성능을 23.7점 향상시켰으며, 이는 특징 추상화에서의 핵심적 역할을 강조한다.
• 메모리 분해 기법은 계산 복잡도를 이차에서 선형으로 줄여 대규모 메모리 사용 시 성능 저하 없이 활용 가능하게 하였다.
• 정성적 분석 결과, SMT는 기준선보다 더 짧고 직접적인 궤적을 생성하며 충돌 수를 줄이고 탐색 효율성을 높였다. 특히 방 전환 및 목표물 탐색 행동에서 두드러진 성능 향상을 보였다.