[논문 리뷰] Baby Intuitions Benchmark (BIB): Discerning the goals, preferences, and actions of others

Kanishk Gandhi, Gala Stojnić외 2명|arXiv (Cornell University)|2021. 02. 23.

Child and Animal Learning Development참고 문헌 64인용 수 16

한 줄 요약

베이비 인트루션 벤치마크(BIB)는 유아 인지 실험을 모델링한 자극을 사용하여 기계 학습 모델이 에이전트의 목표, 선호도, 행동을 추론하는 능력을 평가한다. 고도로 발전한 딥 러닝 모델을 사용함에도 불구하고 시스템은 유아 수준의 추론을 재현하지 못하며, 기계가 의도성에 대한 일반 지식 이해에서 심각한 격차를 보이고 있음을 드러낸다.

ABSTRACT

To achieve human-like common sense about everyday life, machine learning systems must understand and reason about the goals, preferences, and actions of other agents in the environment. By the end of their first year of life, human infants intuitively achieve such common sense, and these cognitive achievements lay the foundation for humans' rich and complex understanding of the mental states of others. Can machines achieve generalizable, commonsense reasoning about other agents like human infants? The Baby Intuitions Benchmark (BIB) challenges machines to predict the plausibility of an agent's behavior based on the underlying causes of its actions. Because BIB's content and paradigm are adopted from developmental cognitive science, BIB allows for direct comparison between human and machine performance. Nevertheless, recently proposed, deep-learning-based agency reasoning models fail to show infant-like reasoning, leaving BIB an open challenge.

연구 동기 및 목표

• 기본 발달 인지 과학에 기반한 자극을 사용하여 기계 학습 모델이 다른 에이전트의 목표, 선호도, 행동을 추론하는 능력을 평가하는 벤치마크를 구축하는 것.
• 유아 연구에서 사용된 동일한 실험 프레임워크를 적용하여 인간 유아와 기계 모델 간 직접 비교를 가능하게 하는 것.
• 일반화 능력과 인간 수준의 추론 능력을 평가하기 위해 분포 외 테스트 에피소드와 위반 기대(Violation-of-Expectation, VOE) 프레임워크를 사용하여 기존 딥 러닝 모델을 도전하는 것.
• 특히 합리적 행동과 비합리적 행동, 물체 기반 선호도를 구분하는 능력이 떨어지는 점을 드러내어 현재 AI 시스템이 의도성 추론에서의 한계를 폭 드러내는 것.
• 미래의 벤치마크를 위한 기반을 마련하여, 거짓 믿음 추론과 같은 지식적 상태 및 현상학적 상태로의 확장을 통해 기계에서 완전한 이성 이론을 달성하는 것.

제안 방법

• 기본적인 유아 인지 연구에서 사용된 자극과 실험 프레임워크를 채택하여 물체 기반 목표, 선호도, 효율적 행동 추론를 포함한다.
• 모델이 에이전트의 행동이 근본적인 의도에 기반해 타당한지 혹은 놀라운지 예측하는 위반 기대(Violation-of-Expectation, VOE) 프레임워크를 사용한다.
• 2D 형태가 격자 세계 환경에서 움직이는 수천 개의 비디오 에피소드를 통해 광범위한 배경 학습을 제공하여 경험 기반 학습을 시뮬레이션한다.
• 학습 데이터와는 분포가 다른 테스트 에피소드를 설계하여 단순한 패tern 매칭을 넘어서는 일반화 능력을 측정한다.
• 목표 지향 행동, 선호도 기반 선택, 효율적 이동을 포함한 과제를 평가하며, 타당성 판단을 주요 평가 지표로 사용한다.
• 동일한 자극과 평가 프로토콜을 사용하여 인간과 기계 성능 간 직접 비교가 가능한 통합 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델은 새로운 분포 외 테스트 시나리오에서 에이전트의 목표와 선호도에 대한 추론을 일반화할 수 있는가?
• RQ2 딥 러닝 모델은 합리적 행동과 비합리적 행동, 물체 기반 선호도를 구분하는 데 있어 유아 수준의 추론을 재현하는가?
• RQ3 에이전트가 비효율적이거나 이전에 보여준 선호도와 일관되지 않게 행동할 경우, 모델은 어떻게 반응하는가—즉, 기대 위반 상황에서의 성능은 어떠한가?
• RQ4 모델은 의도성 추론의 고차원적 수준보다 낮은 수준의 시각적 힌트(예: 근접도)에 의존하는 정도는 어느 정도인가?
• RQ5 유아가 요구하는 최소한의 노출에 비해, 대규모 비디오 데이터로 풍부하게 훈련된 모델은 성능에 어떤 영향을 미치는가?

주요 결과

• 기본 딥 러닝 모델은 이전에 보여준 선호도와는 무관하게 항상 두 물체 중 더 가까운 곳으로 이동할 것이라고 예측했으며, 이는 물체 기반 목표 추론에 실패했음을 시사한다.
• 모델는 행동 효율성 원칙을 과도하게 일반화하여 비합리적이거나 비효율적인 행동도 합리적인 것으로 간주했으며, 이는 인간 유아가 이러한 행동을 구분하는 것과 대조된다.
• 에이전트가 특정 물체를 향해 더 많은 노력을 기울였음에도 불구하고, 모델은 선호도를 그 물체에 기반해 할당하지 못했으며, 이는 유아 인지에서 핵심적인 능력이다.
• 수천 개의 에피소드에 걸친 풍부한 훈련에도 불구하고, 모델의 성능는 유아가 약 8개의 비디오로도 새로운 테스트 이벤트에 일반화할 수 있는 능력과 비교해도 열등했다.
• 벤치마크는 모델가 저수준의 힌트에 의존하고 고차원적 정신 상태 추론을 하지 못함을 드러내며 근본적인 괴리가 있음을 보여주었다.
• 결과는 기계의 일반 지식에서 심각한 격차를 드러내며, 현재 시스템이 다른 이의 선호도와 효율적 행동을 통합하여 일관된 이성 이론을 형성하는 능력이 부족하다는 것을 강조한다.