[논문 리뷰] Object Files and Schemata: Factorizing Declarative and Procedural Knowledge in Dynamical Systems

Anirudh Goyal, Alex Lamb외 6명|arXiv (Cornell University)|2020. 06. 29.

Topic Modeling참고 문헌 24인용 수 16

한 줄 요약

이 논문은 동적 환경에서 묘사 지식(객체 파일을 통한 객체 상태)과 절차 지식(스키마를 통한 동역학)을 인과적으로 분리하는 신경망 아키텍처인 scoff를 제안한다. 주목적 기반의 스키마 및 객체 파일 선택을 통해 동일한 객체 유형의 여러 인스턴스에 걸쳐 체계적인 일반화를 달성하며, 심한 음영이 있는 직관적 물리 기준 평가에서 최신 기술을 뛰어넘는 성능을 보인다.

ABSTRACT

Modeling a structured, dynamic environment like a video game requires keeping track of the objects and their states declarative knowledge) as well as predicting how objects behave (procedural knowledge). Black-box models with a monolithic hidden state often fail to apply procedural knowledge consistently and uniformly, i.e., they lack systematicity. For example, in a video game, correct prediction of one enemy's trajectory does not ensure correct prediction of another's. We address this issue via an architecture that factorizes declarative and procedural knowledge and that imposes modularity within each form of knowledge. The architecture consists of active modules called object files that maintain the state of a single object and invoke passive external knowledge sources called schemata that prescribe state updates. To use a video game as an illustration, two enemies of the same type will share schemata but will have separate object files to encode their distinct state (e.g., health, position). We propose to use attention to determine which object files to update, the selection of schemata, and the propagation of information between object files. The resulting architecture is a drop-in replacement conforming to the same input-output interface as normal recurrent networks (e.g., LSTM, GRU) yet achieves substantially better generalization on environments that have multiple object tokens of the same type, including a challenging intuitive physics benchmark.

연구 동기 및 목표

• 다수의 유사한 객체를 예측할 때 블랙박스 순환 모델이 체계적인 일반화를 보이지 않는 문제를 해결하기 위해.
• 지속적인 객체 상태(묘사 지식)와 행동 규칙(절차 지식)을 분리하여 구조적이고 동적인 환경을 모델링하기 위해.
• 객체 상태를 활성 객체 파일에 봉인하고 동역학을 재사용 가능한 스키마에 담음으로써 모듈성과 해석 가능성 확보하기 위해.
• 특히 음영이 있는 상황에서 동일한 객체 유형의 여러 토큰이 존재하는 환경에서 일반화 성능 향상시키기 위해.
• 지식 인과 분해가 시각적 동적 환경에서 더 강건하고 효율적인 학습을 이끌 수 있음을 입증하기 위해.

제안 방법

• 모델은 객체의 지속적 상태(위치, 속도, 기타 성질 포함)를 유지하기 위해 활성 객체 파일(of)을 사용한다.
• 스키마는 수동적이고 공유되는 파라미터로, 물리적 동역학이나 행동 규칙과 같이 객체 상태의 시간에 따른 변화를 정의한다.
• 주목적 메커니즘을 통해 입력에 기반해 관련된 객체 파일과 스키마를 선택함으로써 객체 파일 간 정보의 동적 라우팅을 가능하게 한다.
• 객체 파일들이 공간 주목적을 통해 경쟁하여 입력의 서로 다른 영역에 주목함으로써 상태 갱신에 가장 관련성이 높은 정보를 선택한다.
• 표준 RNN(예: LSTM, GRU)의 드롭인 대체품으로서 동일한 입력-출력 인터페이스를 유지한다.
• 주목적을 통해 특정 스키마를 객체 파일에 바인딩하는 방식으로 동일한 객체 유형 간 체계적인 행동을 가능하게 한다.

실험 결과

연구 질문

• RQ1 묘사 지식과 절차 지식을 인과적으로 분리함으로써, 동일한 객체 유형의 여러 인스턴스에 걸쳐 체계적인 일반화가 가능한가?
• RQ2 객체 상태(객체 파일)와 동역학(스키마)을 분리함으로써 동적 시각 환경에서 일반화 성능이 향상되는가?
• RQ3 주목적 메커니즘이 객체 파일 간 정보 라우팅과 상태 갱신에 적절한 스키마 선택에 효과적으로 기여하는가?
• RQ4 객체 지속성과 동역학을 추론하기가 어려운 심한 음영 상황에서 모델의 성능은 어떠한가?
• RQ5 과도한 수의 스키마를 제공할 경우, 사용되지 않거나 비효율적인 구성 요소가 생기거나, 모델이 필요한 것만 적극적으로 사용하는가?

주요 결과

• 음영 처리된 시퀀스가 포함된 직관적 물리 기준 평가에서, scoff는 O1 작업(사라지는 공)에서 상대 분류 오차 0.34 ± 0.05를 기록하며 이전 모델을 뛰어넘었다.
• O2 작업(형태 변화)에서는 0.35 ± 0.05의 오차를 기록하여 기준 모델보다 유의미하게 낮았다.
• O3 작업(텔레포트)에서는 0.42 ± 0.02의 오차를 기록하며 다시 한번 경쟁 모델을 능가했다.
• n_s = 10개의 스키마를 사용한 경우, 훈련 중에 실제로 활성화된 것은 3~4개에 불과하여 자원 활용 효율성이 높았고 성능 저하 없이 유지되었다.
• 사용되지 않는 스키마(사망한 스키마)의 증거가 전혀 없었으며, 과잉 용량이 있어도 안정적인 훈련과 국소 최적점 문제 없이 잘 작동함을 시사했다.
• scoff는 체계적 일반화를 보였다: 패키맨에서 한 깡마저 정확하게 예측하면, 동일한 유형의 다른 깡마저도 정확하게 예측할 수 있었는데, 이는 공유 스키마 덕분이었다.