[논문 리뷰] Concept Alignment

Sunayana Rane, Polyphony Bruna외 3명|arXiv (Cornell University)|2024. 01. 09.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 가치 정렬을 추구하기 전에 AI 시스템이 인간의 개념과 정렬되어야 한다고 주장하며, 왜 개념 정렬이 중요한지, 인간과 기계가 개념을 어떻게 학습하는지, 인지 과학 및 AI 도구를 활용해 이를 달성하는 방법을 개략적으로 설명한다.

ABSTRACT

Discussion of AI alignment (alignment between humans and AI systems) has focused on value alignment, broadly referring to creating AI systems that share human values. We argue that before we can even attempt to align values, it is imperative that AI systems and humans align the concepts they use to understand the world. We integrate ideas from philosophy, cognitive science, and deep learning to explain the need for concept alignment, not just value alignment, between humans and machines. We summarize existing accounts of how humans and machines currently learn concepts, and we outline opportunities and challenges in the path towards shared concepts. Finally, we explain how we can leverage the tools already being developed in cognitive science and AI research to accelerate progress towards concept alignment.

연구 동기 및 목표

• 개념 정렬이 인간과 AI 간 가치 정렬의 선행 조건이라는 이유를 제시한다.
• 현재 인간과 기계가 어떻게 개념을 학습하고 근거를 두는지 조사한다.
• 개념 정합을 가속화하기 위해 인지 과학과 AI 도구를 활용하는 경로를 제안한다.
• 대화형의 다중 모달 grounding 및 평가의 도전과 기회를 강조한다.

제안 방법

• 개념 정합을 정의하기 위해 철학, 인지과학, 딥러닝 문헌을 종합한다.
• 인간의 개념 학습 이론(예: Quinian 부트스트래핑)과 심볼 grounding을 요약한다.
• 표현 정렬, 해석 가능성, TCAV, 다중 모달 grounding 등 기계의 개념 학습 접근법을 검토한다.
• 다중 모달 모델(CLIP, DALL-E, Imagen)을 통한 grounding을 grounded language의 증거로 논의한다.
• 인간-AI 상호작용 다이나믹스(정렬, 공명, 복잡도 매칭)를 concept alignment에 연결한다.
• LLMs에서 grounded modalities로 개념을 부트스트랩하기 위한 구체적 단계를 제안한다(예: PaLM-E).

실험 결과

연구 질문

• RQ1 개념 정합이 무엇이며 더 안전한 AI를 위해 왜 필요한가?
• RQ2 인간과 AI가 다양한 모달리티에서 근거 있는 개념을 어떻게 공유할 수 있는가?
• RQ3 인간과 AI 간 개념 정합을 측정하고 개선하기 위해 어떤 도구와 방법이 존재하는가?
• RQ4 상호작용과 피드백(RLHF 등)이 개념 수준의 정합에 어떻게 영향을 미쳐야 하는가?

주요 결과

• 개념 정합은 인간과 AI 간 가치 정렬의 필요 선행 조건으로 주장된다.
• 근거를 둔 다중 모달링(시각 및 언어)은 AI 개념을 인간의 의미에 고정시키는 데 도움이 된다.
• 기존 AI 시스템은 사전 학습된 LLM과 다른 모달리티에서의 grounding을 통해 개념을 부트스트랩할 수 있다(예: PaLM-E).
• 해석 가능성 및 개념 수준 분석(TCAV, 표현적 정합 등)은 픽셀 수준 방법을 넘어 통찰을 제공한다.
• 인간 상호작용을 통한 대화형, 적응형 정합은 매우 중요하지만 현재의 RLHF는 주로 행동에 영향을 주고 명시적 개념에는 영향을 미치지 않는다.
• 개념 정합의 표준과 평가를 정의하기 위해 인지과학과 AI 연구를 결합한 다학제적 접근이 필요하다.