[논문 리뷰] Learning in Factored Domains with Information-Constrained Visual Representations

Tyler Malloy, Miao Liu외 4명|arXiv (Cornell University)|2023. 03. 30.

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 수정된 $\beta$-VAE를 사용하여 분해된, 정보 제약이 있는 시각적 표현을 학습하는 인센티브 강화 학습 모델을 제안한다. 이는 시각적 맥락 기반 밴딧 과제에서 신속하고 샘플 효율적인 학습을 가능하게 한다. 압축된 잠재 특징에서 보상 구조에 대한 가설을 생성하고 평가함으로써, 모델은 빠른 수렴을 달성한다—단 두 번의 경험 후에 최적의 행동을 선택한다. 이는 학습 속도와 재구성 정확도 사이의 상충 관계를 보여준다.

ABSTRACT

Humans learn quickly even in tasks that contain complex visual information. This is due in part to the efficient formation of compressed representations of visual information, allowing for better generalization and robustness. However, compressed representations alone are insufficient for explaining the high speed of human learning. Reinforcement learning (RL) models that seek to replicate this impressive efficiency may do so through the use of factored representations of tasks. These informationally simplistic representations of tasks are similarly motivated as the use of compressed representations of visual information. Recent studies have connected biological visual perception to disentangled and compressed representations. This raises the question of how humans learn to efficiently represent visual information in a manner useful for learning tasks. In this paper we present a model of human factored representation learning based on an altered form of a $β$-Variational Auto-encoder used in a visual learning task. Modelling results demonstrate a trade-off in the informational complexity of model latent dimension spaces, between the speed of learning and the accuracy of reconstructions.

연구 동기 및 목표

• 압축되고 분리된 시각적 표현이 복잡한 시각 과제에서 빠른 학습을 어떻게 지원하는지 조사하기.
• 상태와 보상의 사실화된 표현을 활용하여 인간과 유사한 샘플 효율성을 모델링하기.
• 정보 제약이 있는 잠재 공간에서 재구성 정확도와 학습 속도 사이의 상충 관계를 검토하기.
• 분리된 표현이 보상 예측을 위한 효과적인 가설 생성을 지원할 수 있는지 평가하기.
• 기능성과 과제 성능에 기반한 행동 기반 정의의 분리 가능성을 탐색하기.

제안 방법

• 수정된 $\beta$-VAE는 시각적 입력을 재구성하는 것 외에도, 잠재 특징에서 보상을 예측하도록 훈련되며, 재구성, KL 정규화, 보상 예측 정확도를 균형 잡는 공동 손실 함수를 사용한다.
• 모델은 보상 함수의 사실화된 표현을 사용하여, 서로 다른 시각적 특성(예: 안경, 모자)에 해당하는 잠재 특징 기반으로 독립적인 구성요소로 분해한다.
• 잠재 표현을 사용하여 미래의 보상과 상태 전이에 대한 가설을 생성하고 반복적으로 재평가함으로써, 효율적인 탐색과 학습이 가능해진다.
• 모델은 사전 훈련을 위해 대규모 유명인 얼굴 데이터셋(220,000장의 이미지)을 사용한 후, 네 가지 자극 카테고리(안경, 모자, 둘 다, 둘 다 아님)가 있는 맥락 기반 밴딧 설정에서 미세조정한다.
• 보상 예측은 개별 특성 기여도의 선형 합으로 모델링되며, 다음 상태의 잠재 특징에 대한 가치 함수를 통해 시간적 책임 할당이 이루어진다.
• 가설 생성 메커니즘은 결정론적이고 덧셈형 보상 구조를 가정하여, 낮은 샘플 수 환경에서도 효율적인 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 정보 제약이 있는 시각적 표현은 시각 과제에서 강화 학습의 속도와 정확도에 어떤 영향을 미치는가?
• RQ2 분리된 잠재 표현은 사실화된 MDP 환경에서 보상 구조에 대한 빠른 가설 생성을 지원할 수 있는가?
• RQ3 압축된 잠재 공간에서 재구성 정밀도와 학습 효율성 사이의 상충 관계는 무엇인가?
• RQ4 잠재 표현은 어떻게 유용성 기반 등가성을 반영하도록 진화하는가?
• RQ5 행동 기반 정의의 분리 가능성이 인간과 유사한 에이전트에서 더 빠른 학습을 설명할 수 있는가?

주요 결과

• 작은 잠재 차원을 가진 모델들이 더 빠른 학습을 달성하여, 단 두 번의 경험 후에 높은 보상의 밴딧 암을 선택함으로써 높은 샘플 효율성을 보였다.
• 작은 잠재 공간은 더 강한 정보 버다이어로 인해 재구성 정확도가 낮아졌으며, 이는 속도와 정밀도 사이의 상충 관계를 확인했다.
• 고유용성 자극(예: 안경과 모자를 모두 가진 자극)의 잠재 표현은 시간이 지남에 따라 무용성 자극과 점점 더 구분되며, 유용성 기반 표현 학습을 나타낸다.
• 모델의 잠재 공간은 보상이 유사한 자극이 유사한 표현을 가지는 방식으로 유용성 기반 등가성을 나타내었다.
• 가설 생성 메커니즘이 보상 결과와 관련된 주목할 만한 분리된 특징에 집중함으로써 빠른 수렴을 가능하게 하였다.
• 대규모 얼굴 데이터셋에서의 사전 훈련은 압축된 시각적 특징에서 일반화를 지원하며, 맥락 기반 밴딧 과제로의 효과적인 전이를 가능하게 하였다.