[논문 리뷰] S2RMs: Spatially Structured Recurrent Modules

Nasim Rahaman, Anirudh Goyal외 6명|arXiv (Cornell University)|2020. 07. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 8

한 줄 요약

S2RMs는 부분 관찰 환경에서의 강인성과 일반화 능력을 향상시키기 위해 공간적 구조와 모듈형, 희소하게 상호작용하는 순환 단위를 동시에 활용하는 동적 모델의 새로운 클래스를 도입한다. 거리 기반 어텐션을 통해 공간적으로 정보를 갖춘 상호작용 토폴로지(구조)를 학습함으로써, S2RMs는 자르기된 프레임에서의 영상 예측 및 스타크래프트 II에서의 다중 에이전트 월드 모델링에서 강력한 베이스라인을 능가한다. 특히 분포 이탈과 관찰 수 감소 상황에서도 성능이 뛰어나다.

ABSTRACT

Capturing the structure of a data-generating process by means of appropriate inductive biases can help in learning models that generalize well and are robust to changes in the input distribution. While methods that harness spatial and temporal structures find broad application, recent work has demonstrated the potential of models that leverage sparse and modular structure using an ensemble of sparingly interacting modules. In this work, we take a step towards dynamic models that are capable of simultaneously exploiting both modular and spatiotemporal structures. We accomplish this by abstracting the modeled dynamical system as a collection of autonomous but sparsely interacting sub-systems. The sub-systems interact according to a topology that is learned, but also informed by the spatial structure of the underlying real-world system. This results in a class of models that are well suited for modeling the dynamics of systems that only offer local views into their state, along with corresponding spatial locations of those views. On the tasks of video prediction from cropped frames and multi-agent world modeling from partial observations in the challenging Starcraft2 domain, we find our models to be more robust to the number of available views and better capable of generalization to novel tasks without additional training, even when compared against strong baselines that perform equally well or better on the training distribution.

연구 동기 및 목표

• 데이터 내의 공간적 구조와 모듈형 구조를 동시에 활용하여 일반화 능력과 강인성을 향상시키는 동적 모델을 개발하는 것.
• 알려진 공간적 위치를 가진 국소적이고 부분적인 관찰로부터 시스템을 모델링하는 과제를 해결하는 것.
• 사전 정의된 공간적 이웃 관계에 의존하지 않고, 동적으로 국소성을 학습할 수 있도록 하는 것.
• 사용 가능한 관찰 수가 변할 때나 분포 이탈(OOD) 상황에서도 성능을 향상시키는 것.
• 희소 메시지 전달과 공간적 인덕티브 바이어스를 조합하여 모델의 표현력과 효율성을 높이는 것.

제안 방법

• 각 하위 시스템은 독립적인 순환 신경망(RNN)으로 모델링되어 자체 상태 변화를 독립적으로 수행할 수 있다.
• 하위 시스템 간의 상호작용은 봉쇄된 어텐션 메커니즘을 통해 이루어지며, 메시지 전달은 학습된 공간적 근접도에 의해 제한된다.
• 거리가 상호작용 강도를 결정하는 메트릭 공간에 하위 시스템이 통합되어 공간적으로 구조화된 희소성을 강제한다.
• 모델은 이진 교차 엔트로피(친구 마커), 다중 교차 엔트로피(단위 유형), 평균 제곱오차(HECS 마커)를 조합한 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 원형 컨볼루션을 인코더와 디코더에 적용하여 극좌표 관측을 처리함으로써 공간적 구조를 통합한다.
• 상호작용 토폴로지는 사전 정의되지 않고 학습되므로, 공간적 및 동적 신호에 기반해 효과적인 모듈형 그룹을 자동으로 발견할 수 있다.

실험 결과

연구 질문

• RQ1 공간적 근접도에 기반해 자체 상호작용 토폴로지를 학습하는 모델이, 새로운 관찰 구성에 더 잘 일반화될 수 있는가?
• RQ2 모듈형 순환 시스템에 공간적 구조를 통합하면, 누락되거나 부분적인 관찰에 대해 강인성이 어떻게 향상되는가?
• RQ3 이러한 모델이 미세조정 없이 분포 이탈 시나리오에 얼마나 잘 일반화되는가?
• RQ4 시공간 모델링에서 고정된 이웃 가정 대비, 동적으로 국소성을 학습하는 것이 성능을 더 높이는가?
• RQ5 큰 공간적 시스템에서 표현력은 유지하면서 효율적으로 확장될 수 있는가?

주요 결과

• S2RMs는 관찰을 제공하는 에이전트 수가 적을 경우에도 강인한 성능을 보였으며, 최대 50%의 에이전트가 제거된 상황에서도 예측 정확도를 유지했다.
• OOD 시나리오 1s2z에서 S2RMs는 친구 마커 및 HECS 마커의 F1 스코어에서 모든 베이스라인을 능가했다.
• 5s3z OOD 시나리오에서는 RMCs와 성능이 유사했지만 여전히 강력한 일반화 능력을 보였다.
• 특히 부분 관찰 설정에서 자르기된 프레임에서의 영상 예측 과제에서 최고 성능을 기록했다.
• 학습된 상호작용 토폴로지는 먼 거리에 있지만 공간적으로 일관된 영역(예: 전체 도로)을 하나의 모듈로 추상화해 장거리 모델링을 향상시켰다.
• 메트릭 기반 어텐션의 사용으로 효율적이고 희소한 상호작용이 가능해졌으며, 이는 시스템 크기가 커져도 표현력은 유지하면서도 잘 스케일링되었다.