[논문 리뷰] Concept Learning with Energy-Based Models

Igor Mordatch|arXiv (Cornell University)|2018. 11. 06.

Machine Learning and Data Classification참고 문헌 32인용 수 7

한 줄 요약

이 논문은 실행 시 최적화를 통해 소수의 예시로부터 추상적 개념—시각적, 관계적, 시간적 성질 등—을 학습하는 에너지 기반 개념 모델을 제안한다. 개념을 사건 구성(configuration)과 주의 마스크(attention mask)에 대한 에너지 함수로 정의함으로써, 실시간 개념 식별 및 생성이 가능해지며, 학습된 개념은 환경 간 이식 가능하다.

ABSTRACT

Many hallmarks of human intelligence, such as generalizing from limited experience, abstract reasoning and planning, analogical reasoning, creative problem solving, and capacity for language require the ability to consolidate experience into concepts, which act as basic building blocks of understanding and reasoning. We present a framework that defines a concept by an energy function over events in the environment, as well as an attention mask over entities participating in the event. Given few demonstration events, our method uses inference-time optimization procedure to generate events involving similar concepts or identify entities involved in the concept. We evaluate our framework on learning visual, quantitative, relational, temporal concepts from demonstration events in an unsupervised manner. Our approach is able to successfully generate and identify concepts in a few-shot setting and resulting learned concepts can be reused across environments. Example videos of our results are available at sites.google.com/site/energyconceptmodels

연구 동기 및 목표

• 인공 에이전트가 제한된 경험에서 일반화할 수 있도록 추상적 개념을 추론의 기본 구성 요소로 학습하는 데 도전한다.
• 개념을 에너지 함수로 암묵적으로 정의하는 프레임워크를 개발하여, 실행 중 동적 추론과 조합이 가능하게 하되, 정적 오프라인 훈련이 아닌 방식을 채택한다.
• 영역에 관계없이 에너지 함수를 학습함으로써 다양한 환경 및 제어 플랫폼 간 개념 재사용을 가능하게 한다.
• 최적화 기반 추론이 명시적인 생성 모델이나 정책 네트워크 없이도 효과적으로 개념을 생성하고 식별할 수 있는지 조사한다.

제안 방법

• 개념을 엔티티의 트레이젝터리(trajectory)에 대한 사건 구성(configuration)과 관련 엔티티를 식별하는 주의 마스크에 대한 에너지 함수로 정의한다.
• 실행 시점에 기울기 기반 최적화를 사용하여 주의 마스크를 활용해 에너지를 0으로 최소화함으로써 개념에 참여하는 엔티티를 식별한다.
• 개념에 포함된 새로운 사건을 생성하기 위해, 개념의 에너지 함수 하에서 에너지를 0으로 만들 수 있도록 사건 구성(예: 위치 및 상태)을 최적화한다.
• 다중 엔티티 개념(예: 형태, 시간적 관계 등)에 대한 성능 향상을 위해 상호작용을 모델링하기 위해 관계 기반 신경망 아키텍처를 사용한다.
• 실제 사건의 분류 능력과 고품질 샘플 생성 능력을 확보하기 위해 최대우도(ML)와 KL 발산 목표를 조합하여 에너지 함수를 훈련한다.
• 모델 예측 제어를 최적화 엔진으로 사용하여, 다른 시뮬레이터(예: 3D Mujoco 로봇)에서 동일한 에너지 함수를 적용함으로써 환경 간 이식 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 에너지 기반 모델은 소수의 예시 사건만으로도 추상적 시각적, 정량적, 관계적, 시간적 개념을 학습할 수 있는가?
• RQ2 개념 코드에 대한 실시간 최적화가 소수의 예시 설정에서 효과적인 개념 식별 및 생성을 가능하게 하는가?
• RQ3 훈련 시 KL 발산 목표를 포함함으로써 에너지 모델의 샘플 생성 품질이 향상되는가?
• RQ4 다른 역학적 특성과 구동 메커니즘을 가진 다양한 환경 간에 학습된 에너지 함수를 얼마나 널리 재사용할 수 있는가?
• RQ5 관계 기반 네트워크 아키텍처의 사용이 복잡한 다중 엔티티 개념을 학습하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• 모델은 소수의 예시만으로도 시각적(예: '빨간색'), 관계적(예: '위에 있는') 및 시간적(예: '이후') 개념을 성공적으로 학습하고 생성한다.
• 훈련 시 KL 발산 목표를 포함함으로써 생성 샘플의 품질이 뚜렷이 향상되었으며, 음의 로그우도가 낮고 진짜 예시의 에너지와의 일치도가 높다는 점에서 확인되었다.
• 관계 기반 네트워크가 없을 경우, 다중 엔티티 개념(예: 여러 개의 물체로 이루어진 '사각형')을 일관되게 생성하지 못함으로써, 관계적 인덕티브 바이어스의 중요성을 입증한다.
• 2D 입자 환경에서 학습된 에너지 함수는 3D Mujoco 시뮬레이터의 로봇 팔 환경에 성공적으로 재사용되었으며, 다른 역학적 특성과 제어 메커니즘을 가짐에도 불구하고 환경 간 이식 가능성을 입증했다.
• 기울기 하강법을 사용한 최적화 기반 추론은 소수의 스텝 내에 고품질 샘플을 생성하며, 추론 과정에 명시적인 감독 없이 최대우도에 의존하는 기존 방법보다 뛰어난 성능을 보였다.