[논문 리뷰] The Efficiency of Human Cognition Reflects Planned Information Processing

Mark K. Ho, David Abel외 3명|arXiv (Cornell University)|2020. 02. 13.

AI-based Problem Solving and Planning참고 문헌 33인용 수 13

한 줄 요약

이 논문은 인간의 인지가 계획된 정보 처리를 반영하며, 개인들이 행동 뿐만 아니라 *언제*와 *무엇*을 계획할지를 전략적으로 인지 자원을 할당하여 계획한다는 점을 제안한다. 이는 작업 보상과 정보 이론적 계획 비용을 균형 잡는 재귀 벨만 목표로 형식화된 메타리asoning 문제로 표현된다. 실험 결과, 반응 시간이 이 모델의 예측과 일치함을 보여주며, 사람들이 부분 계획을 통해 계획 비용을 적응적으로 관리하고 있음을 입증함으로써 인간의 의사결정에서 경계된 합리성의 규범론적 계정을 지지한다.

ABSTRACT

Planning is useful. It lets people take actions that have desirable long-term consequences. But, planning is hard. It requires thinking about consequences, which consumes limited computational and cognitive resources. Thus, people should plan their actions, but they should also be smart about how they deploy resources used for planning their actions. Put another way, people should also "plan their plans". Here, we formulate this aspect of planning as a meta-reasoning problem and formalize it in terms of a recursive Bellman objective that incorporates both task rewards and information-theoretic planning costs. Our account makes quantitative predictions about how people should plan and meta-plan as a function of the overall structure of a task, which we test in two experiments with human participants. We find that people's reaction times reflect a planned use of information processing, consistent with our account. This formulation of planning to plan provides new insight into the function of hierarchical planning, state abstraction, and cognitive control in both humans and machines.

연구 동기 및 목표

• 사람들이 행동뿐 아니라 계획 자체를 계획하는 이유를 이해하기 위해, 계획이 시간과 기억에 비용이 든다는 점을 고려한다.
• 작업 보상과 계획 비용을 균형 잡는 재귀적 의사결정 문제로 메타플래닝을 형식화한다.
• 사람들의 반응 시간이 문제 해결 중 계획된, 비용을 고려한 정보 처리를 반영하는지 테스트한다.
• 완전한 행동 계획보다 부분 계획(다양한 수준의 세부 정보를 포함하는 계획)이 인간 행동을 더 잘 설명하는지 평가한다.
• 계층적 계획과 상태 추상화가 인지 비용을 관리해야 하는 필요성에서 어떻게 유도되는지 탐색한다.

제안 방법

• 작업 보상과 정보 이론적 계획 비용을 모두 포함하는 재귀적 벨만 목표로 메타플래닝을 형식화한다.
• 부분 계획 간 전이 비용을 측정하기 위해 칼리브라-라이블러 발산을 사용하여 계획 갱신의 인지적 노력 표현한다.
• 정보 이론을 사용하여 부분 계획 내 상태-행동 분포의 인코딩 비용을 모델링함으로써 계획 비용을 계산적 노력으로 측정한다.
• 다양한 작업 구조에서 최적의 부분 계획을 생성하기 위해 2차원 미로 탐색 작업에 모델을 적용한다.
• 혼합 효과 선형 모델을 사용하여 부분 계획 간 발산이 인간 실험에서의 반응 시간을 예측하는지 테스트한다.
• 부분 계획 유사도 기반으로 상태 표현에 대한 계층적 클러스터링을 수행하여 잠재적 옵션 유사한 구조를 드러낸다.

실험 결과

연구 질문

• RQ1 사람들은 계획 시 인지 자원을 어떻게 적응적으로 할당하며, 언제와 무엇을 계획할지를 결정하는 데 영향을 주는 요소는 무엇인가?
• RQ2 반응 시간이 행동 계획 외에 계획된 정보 처리를 반영하는 정도는 어느 정도인가?
• RQ3 정보 이론적 계획 비용을 기반으로 한 형식 모델이 동적 계획 과제에서 인간 행동을 예측할 수 있는가?
• RQ4 부분 계획(다양한 수준의 세부 정보를 포함하는 계획)은 계획 비용을 최소화하고자 하는 필요성에서 어떻게 유도되는가?
• RQ5 보상과 인지 비용의 상호 교환에서 어떤 계획의 구조적 특성(예: 계층성, 추상화)이 유도되는가?

주요 결과

• 실험 1에서 부분 계획 간 발산은 미로 탐색에서 반응 시간을 유의미하게 예측하였으며, 행동 계획에 기반한 모델보다 뛰어난 성능을 보였다.
• 실험 2에서 예기치 않은 텔레포트 이후 참가자의 반응 시간은 사전 및 사후 부분 계획 간 발산에 의해 가장 잘 설명되었으며, 행동 계획 비용은 그렇지 않았다.
• 계획 갱신의 인지적 비용을 반영하는 부분 계획 발산 측정치는 텔레포트 거리를 통제한 후에도 반응 시간의 유의미한 예측 변수였다.
• 모델의 최적 부분 계획은 경로 길이나 A* 노드 수와 같은 다른 계획 측정치보다 인간 행동을 더 잘 설명했다.
• 부분 계획 유사도 기반으로 상태를 계층적으로 클러스터링한 결과, 계층 강화 학습에서의 옵션 유사한 클러스터가 나타나, 추상화가 자연스럽게 유도됨을 시사했다.
• 텔레포트 거리를 예측 변수로 포함시켰더니 부분 계획 발산의 유의미성은 약화되었지만 사라지지는 않았으며, 이는 계획 비용이 별개의 핵심 요소임을 시사한다.