[논문 리뷰] Representational efficiency outweighs action efficiency in human program induction

Sophia Sanborn, David Bourgin외 2명|arXiv (Cornell University)|2018. 07. 18.

Reinforcement Learning in Robotics참고 문헌 21인용 수 7

한 줄 요약

이 연구는 인간이 프로그램 유도 과정에서 표현 효율성 또는 행동 효율성을 우선시하는지 조사한다. 새로운 마르코프 결정 과정 기반 과제를 통해 참가자들은 행동 효율성 해법보다 더 압축 가능성이 높은(즉, 표현 복잡도가 낮은) 계층적 해법을 생성하였으며, 이는 알고리즘적 단순성보다 행동 수를 최소화하는 것보다 강한 선호를 보임을 시사한다.

ABSTRACT

The importance of hierarchically structured representations for tractable planning has long been acknowledged. However, the questions of how people discover such abstractions and how to define a set of optimal abstractions remain open. This problem has been explored in cognitive science in the problem solving literature and in computer science in hierarchical reinforcement learning. Here, we emphasize an algorithmic perspective on learning hierarchical representations in which the objective is to efficiently encode the structure of the problem, or, equivalently, to learn an algorithm with minimal length. We introduce a novel problem-solving paradigm that links problem solving and program induction under the Markov Decision Process (MDP) framework. Using this task, we target the question of whether humans discover hierarchical solutions by maximizing efficiency in number of actions they generate or by minimizing the complexity of the resulting representation and find evidence for the primacy of representational efficiency.

연구 동기 및 목표

• 문제를 해결할 때 인간이 행동 수를 최소화하는 것(행동 효율성)을 우선시하는지, 아니면 결과 프로그램 표현의 복잡도를 최소화하는 것(표현 효율성)을 우선시하는지 조사하는 것.
• MDP 프레임워크 내에서 명시적이고 알고리즘적인 해법이 가능한 과제를 도입하여 인지과학과 계층적 강화학습(HRL)을 연결하는 것.
• 인간이 알고리즘적 단순성과 효율적 코딩에 대한 편향을 보이며, 이는 프로그램의 압축 가능성으로 측정할 수 있다는 가설을 검증하는 것.
• 행동 효율성, 표현 효율성 또는 기본 문제 해결 전략에 중점을 둔 조건들 간의 인간 생성 해법을 비교하는 것.
• 프로그램 압축을 통해 측정한 표현 효율성이 인간의 해법 선호도를 예측하는 데 행동 효율성보다 더 뛰어난가 평가하는 것.

제안 방법

• 참가자들은 마르코프 결정 과정(MDP)으로 프레임된 새로운 문제 해결 과제를 해결하였으며, 여기서 계층적이고 프로그래밍 기반의 해법을 생성할 수 있었다.
• 해법은 평탄화된 행동 시퀀스의 정규화된 압축 가능성을 계산하는 압축 알고리즘을 사용하여 평가되었다: $\text{압축 가능성} = \frac{\text{평탄한 길이} - \text{압축된 길이}}{\text{평탄한 길이}}$.
• 세 가지 실험 조건을 사용하였다: 효율적(행동 최소화), 기본 계층구조(표현 효율성), 기본 평탄(지침 없음).
• 압축 알고리즘은 반복되는 하위 서브루틴을 식별하고 기능 호출로 대체하여 프로그램 길이를 최소화한다.
• 해법은 평탄화되고 압축되어 표현 복잡도를 정량화하였으며, 높은 압축 가능성은 낮은 복잡도를 나타낸다.
• 압축 가능성과 행동 수의 차이를 평가하기 위해 조건 간 통계적 비교를 실시하였다.

실험 결과

연구 질문

• RQ1 인간은 행동 수를 최소화하는 해법(행동 효율성)을 선호할 것인가, 아니면 더 간결하고 압축 가능성이 높은 표현을 제공하는 해법(표현 효율성)을 선호할 것인가?
• RQ2 행동 효율성과 표현 효율성을 중시하는 조건 간에 인간의 해법에서 계층적 구조의 존재는 어떻게 비교될 수 있는가?
• RQ3 압축 가능성이 직접적인 이득을 제공하지 않는 조건(예: 평탄한 해법 조건)에서도 인간은 압축 가능한 해법을 생성하는 경향이 있는가?
• RQ4 프로그램 압축을 통해 측정한 표현 복잡도는 다양한 과제 조건에서 인간의 해법 선택을 어느 정도 예측할 수 있는가?
• RQ5 프로그램 압축 지표는 인간 문제 해결 선호도를 모델링하는 데 있어 알고리즘적 단순성의 타당한 대체 지표가 될 수 있는가?

주요 결과

• 기본 계층구조 및 효율적 계층구조 조건의 참가자들이 효율적 및 기본 평탄 조건의 참가자들보다 압축 가능성에서 유의미하게 높은 값을 보였다(p < .0001, 모든 비교에서).
• 더 긴 행동 시퀀스를 생성함에도 불구하고 계층구조 조건의 참가자들이 훨씬 더 높은 압축 가능성을 보였으며, 이는 표현 효율성 선호를 시사한다.
• 퍼즐 5와 6에서 기본 평탄 조건은 효율적 평탄 조건보다 더 높은 압축 가능성을 보였다(p < .05), 비록 이 조건에서는 압축 가능성이 직접적인 이득을 주지 않았다.
• 기본 평탄 조건에서 압축 가능한 평탄 해법이 선호된다는 발견은, 명시적인 인centive가 없더라도 낮은 복잡도의 표현으로의 기본 편향이 존재함을 시사한다.
• 결과적으로 표현 효율성(프로그램 압축 가능성으로 측정)이 인간의 프로그램 유도를 이끄는 데 행동 효율성보다 더 우세하다는 것이 입증되었다.
• 본 연구는 인간이 문제 해결 과정에서 알고리즘적 단순성과 효율적 코딩에 대한 인지적 편향을 지닌다는 가설에 실증적 근거를 제공한다.