[논문 리뷰] Coordination Among Neural Modules Through a Shared Global Workspace

Anirudh Goyal, Aniket Didolkar외 8명|arXiv (Cornell University)|2021. 03. 01.

Ferroelectric and Negative Capacitance Devices참고 문헌 51인용 수 17

한 줄 요약

이 논문은 제한된 대역폭을 가진 공통의 글로벌 워크스페이스를 제안하여 모듈형 신경망을 조율함으로써 전문가들이 주의를 경쟁하고 통합된 표현을 방송할 수 있도록 한다. 이 방법은 선택적이고 일관된 통신을 강제함으로써 시각적 추론 작업에서 성능을 향상시키며, 물체 추적, 물리적 추론, Atari 게임 전이 학습에서 이중 상호작용 주의 메커니즘을 능가한다.

ABSTRACT

Deep learning has seen a movement away from representing examples with a monolithic hidden state towards a richly structured state. For example, Transformers segment by position, and object-centric architectures decompose images into entities. In all these architectures, interactions between different elements are modeled via pairwise interactions: Transformers make use of self-attention to incorporate information from other positions; object-centric architectures make use of graph neural networks to model interactions among entities. However, pairwise interactions may not achieve global coordination or a coherent, integrated representation that can be used for downstream tasks. In cognitive science, a global workspace architecture has been proposed in which functionally specialized components share information through a common, bandwidth-limited communication channel. We explore the use of such a communication channel in the context of deep learning for modeling the structure of complex environments. The proposed method includes a shared workspace through which communication among different specialist modules takes place but due to limits on the communication bandwidth, specialist modules must compete for access. We show that capacity limitations have a rational basis in that (1) they encourage specialization and compositionality and (2) they facilitate the synchronization of otherwise independent specialists.

연구 동기 및 목표

• 심층 학습 아키텍처에서 기능적으로 전문화된 신경 모듈을 조율하는 데 도전 과제를 해결하기 위해.
• 이중 상호작용에 의존하지 않고도 모듈 간 표현의 일관성과 통합을 향상시키기 위해.
• 제한된 통신 대역폭이 모듈형 네트워크에서 전문화와 조합성의 촉진에 어떻게 기여하는지 탐색하기 위해.
• 중앙집중식이고 병목 현상이 발생하는 통신 메커니즘을 통해 더 나은 일반화와 전이 학습을 가능하게 하기 위해.
• 기계적 모듈형 AI 아키텍처와 현대 딥러닝을 미분 가능하고 종단 간 훈련이 가능한 방식으로 연결하기 위해.

제안 방법

• 공통의 글로벌 워크스페이스는 전문가 모듈들이 정보를 쓰기 위해 경쟁하는 대역폭 제한된 통신 채널으로 기능한다.
• 전문가 모듈들은 입력을 독립적으로 처리한 후 관련성에 따라 워크스페이스에 선택적으로 쓴다.
• 업데이트된 워크스페이스 내용은 모든 전문가에게 방송되어 네트워크 전반의 동기화된 업데이트를 가능하게 한다.
• 시스템은 전체 아키텍처의 기울기 기반 훈련을 허용하는 미분 가능한 주의 메커니즘을 사용한다.
• 워크스페이스의 제한된 용량은 선택적 주의를 강제하여 효율적이고 일관된 정보 공유를 촉진한다.
• SCOFF 및 RIMs와 같은 모델에 적용되며, 공통 워크스페이스 주의가 표준 자기 주의를 대체하거나 보완한다.

실험 결과

연구 질문

• RQ1 이중 상호작용에 의존하지 않고 모듈형 신경망이 어떻게 일관되고 통합된 표현을 달성할 수 있는가?
• RQ2 제한된 통신 대역폭이 신경 전문가 간의 전문화와 조율에 어떻게 기여하는가?
• RQ3 표준 자기 주의와 비교해 공통 워크스페이스가 시각적 추론 및 물리적 예측 작업 성능을 향상시킬 수 있는가?
• RQ4 공통 워크스페이스 메커니즘이 Atari 게임과 같은 다중 환경 설정에서 전이 학습을 향상시키는가?
• RQ5 공통 워크스페이스의 슬롯 수가 모델 성능과 일반화에 어떻게 영향을 미치는가?

주요 결과

• 공통 워크스페이스 모델은 5개의 워크스페이스 슬롯을 사용할 때 튀는 공 태스크에서 Adjusted Rand Index (ARI) 0.915를 달성하여 공통 워크스페이스 없이 SCOFF를 사용한 경우(ARI: 0.276)보다 유의미하게 뛰어난 성능을 보였다.
• 5개의 워크스페이스 슬롯을 사용할 경우, 평균 제곱 오차(MSE)가 0.035로 감소하여 SCOFF의 0.083 MSE 대비 58% 향상되었다.
• 워크스페이스 슬롯 수를 5개 초과로 늘일 경우 성능 저하가 발생하여 대역폭 제한된 통신의 이점을 입증하였다.
• Atari 게임에서 공통 워크스페이스가 보완된 RIMs는 게임 A에서 중앙값 성능 비율 1.13, 게임 B에서 1.11을 기록하여 향상된 전방 전이와 감소된 후방 간섭을 나타내었다.
• 관계적 및 비관계적 질문 모두에 대해 시각적 추론 벤치마크에서 기준 모델보다 빠르게 수렴하고 성능이 뛰어났다.
• 공통 워크스페이스는 선택적 방송을 통해 관련 엔티티에 주의를 집중시킴으로써 더 나은 물체 분리와 일관된 물리적 추론을 가능하게 하였다.