[논문 리뷰] OMNI: Open-endedness via Models of human Notions of Interestingness

Jenny Zhang, Joel Lehman외 2명|arXiv (Cornell University)|2023. 06. 02.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

OMNI는 학습 가능성과 진정으로 흥미로운 과제를 동시에 고려하여 개방형 학습을 이끄는 데 Foundation Models를 인간의 흥미 개념(MoI)의 모델로 활용한다. 사전 훈련된 FMs를 활용해 신선함과 가치를 평가함으로써, OMNI는 Crafter 및 BabyAI와 같은 환경에서 균일한 샘플링 및 학습 진전도 기반의 베이스라인에 비해 다양한 고영향력 행동을 더 잘 발견한다.

ABSTRACT

Open-ended algorithms aim to learn new, interesting behaviors forever. That requires a vast environment search space, but there are thus infinitely many possible tasks. Even after filtering for tasks the current agent can learn (i.e., learning progress), countless learnable yet uninteresting tasks remain (e.g., minor variations of previously learned tasks). An Achilles Heel of open-endedness research is the inability to quantify (and thus prioritize) tasks that are not just learnable, but also $ extit{interesting}$ (e.g., worthwhile and novel). We propose solving this problem by $ extit{Open-endedness via Models of human Notions of Interestingness}$ (OMNI). The insight is that we can utilize foundation models (FMs) as a model of interestingness (MoI), because they $ extit{already}$ internalize human concepts of interestingness from training on vast amounts of human-generated data, where humans naturally write about what they find interesting or boring. We show that FM-based MoIs improve open-ended learning by focusing on tasks that are both learnable $ extit{and interesting}$, outperforming baselines based on uniform task sampling or learning progress alone. This approach has the potential to dramatically advance the ability to intelligently select which tasks to focus on next (i.e., auto-curricula), and could be seen as AI selecting its own next task to learn, facilitating self-improving AI and AI-Generating Algorithms. Project website at https://www.jennyzhangzt.com/omni/

연구 동기 및 목표

• 학습 가능성 외에 진정으로 흥미로운 과제를 정량화하고 우선순위를 정할 수 없는 개방형 AI 연구의 핵심적 격차를 해결하기 위함.
• 일반적으로 인간의 낯설음과 가치에 대한 직관을 포착하지 못하는 수작업으로 만든 흥미도 측정 기준의 한계를 극복하기 위함.
• 학습 가능하고 가치 있는 과제로 구성된 자율적이고 다양한 커리큘럼을 생성하고 집중할 수 있도록 AI 에이전트를 가능하게 하기 위함.
• 기초로 훈련된 Foundation Models(거대한 인간 생성 데이터 기반)가 인간과 유사한 판단 기준을 내재하고 일반화할 수 있는지 탐구하기 위함.

제안 방법

• OMNI는 Foundation Models(FMs)를 흥미도(MoI)의 모델로 사용하여, 막대한 텍스트 코퍼스에서 사전 훈련된 인간 개념(예: 낯설음, 가치, 독창성)에 대한 이해를 활용한다.
• MoI는 소수의 예시를 제공하여 추론을 유도함으로써, FMs를 활용해 후보 과제가 학습 가능하고 흥미로운지 평가한다.
• 과제는 FM의 출력에 기반해 순위가 매겨지며, 높은 점수는 더 높은 예상 학습 진전과 인식된 흥미도를 나타낸다.
• 에이전트는 순위가 매겨진 목록에서 과제를 샘플링함으로써, 기존 과제의 미세한 변형이 아닌 다양한 비중복 행동을 탐색한다.
• 정책 성능를 통한 학습 진전과 FM 기반의 흥미도를 통합하여 과제 선택을 위한 유일한 점수 함수를 설계한다.
• OMNI는 문장 수준 모델(GPT-3.5 등)과 문장 임베딩 모델(BGE 등)을 모두 사용해 평가하였으며, 성능 비교를 위한 아블레이션 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 Foundation Models가 개방형 학습에서 인간의 흥미 개념에 대한 대체자로 효과적으로 기능할 수 있는가?
• RQ2 FM 기반 과제 선택은 균일한 샘플링 및 학습 진전도 기반의 베이스라인과 비교해 다각적이고 고영향력 있는 기술 습득을 어떻게 향상시키는가?
• RQ3 FMs는 학습 가능하지만 흥미로운 과제(예: 미세한 변형)와 진정으로 새로운 가치 있는 과제를 어느 정도로 잘 구분할 수 있는가?
• RQ4 한 개의 FM 프롬프트에 낯설음, 가치, 복잡성 등의 흥미도 요소를 통합함으로써 흥미도 모델을 향상시킬 수 있는가?
• RQ5 AI가 인간과 유사한 흥미도 판단에 기반해 자율적으로 다음 학습 과제를 선택하도록 허용할 경우, 안전성에 어떤 영향을 미칠 수 있는가?

주요 결과

• OMNI는 Crafter 환경에서 모든 학습 단계 동안 평균 과제 성공률에서 균일한 샘플링 및 학습 진전도 기반의 베이스라인을 크게 앞서며 성과를 내었다.
• 반복적이거나 복합적인 과제로 간주되는 과제들에서 OMNI는 OMNI-embed보다 높은 성공률를 기록하여 진정된 흥미도의 구분 능력을 보였다.
• 이 방법은 중복되지 않고 영향력 있는 과제를 성공적으로 식별하고 우선순위를 매겼으며, 예를 들어 나무와 돌을 각각 별도로 습득한 후에만 둘 다 수집하는 것을 학습하는 과제를 인식함으로써 복합 과제의 과대평가를 방지했다.
• OMNI-embed는 더 단순한 문장 임베딩 기반의 베이스라인으로서 일부 설정에서는 OMNI와 유사한 성능을 보였지만, 특히 복합 과제 상황에서 과제의 낯설음에 미묘한 차이를 구분하지 못했다.
• GPT-4는 소수의 예시를 제공받은 프롬프트를 통해 낯설음, 가치, 학습 가능성 등의 다양한 흥미도 요소를 효과적으로 통합하는 데 뛰어난 능력을 보였으며, 확장 가능하고 적응 가능한 MoI 설계의 잠재력을 시사한다.
• 결과는 Foundation Models가 인간과 유사한 판단 기준을 내재하고 일반화할 수 있으며, AI가 자율적으로 자신의 학습 과제 커리큘럼을 구성할 수 있음을 시사한다.