[논문 리뷰] The Lovelace 2.0 Test of Artificial Creativity and Intelligence

Mark Riedl|arXiv (Cornell University)|2014. 10. 22.

Computability, Logic, AI Algorithms참고 문헌 7인용 수 71

한 줄 요약

Lovelace 2.0 테스트는 인간이 정의한 기준 하에 다양하고 제약 조건을 충족하는 창작 산물(예: 이야기, 시, 그림 등)을 생성하도록 요구함으로써 인공 창의성과 지능을 평가하기 위한 개선된 기준을 제안한다. 튜링 테스트와 달리, 이 테스트는 속임수를 넘어서 진정한 창작 원천을 강조하며, 인간 평가자와 심사위원이 참여하여 제약 조건이 현실적이며 출력물이 신선하고 놀라운지를 보장한다.

ABSTRACT

Observing that the creation of certain types of artistic artifacts necessitate intelligence, we present the Lovelace 2.0 Test of creativity as an alternative to the Turing Test as a means of determining whether an agent is intelligent. The Lovelace 2.0 Test builds off prior tests of creativity and additionally provides a means of directly comparing the relative intelligence of different agents.

연구 동기 및 목표

• 트위닝 테스트가 속임수에 의존하고 창의성의 진위를 구분하지 못하는 한계를 해결하기 위해.
• 에이전트가 새로운 제약 조건을 충족하는 창작 산물을 생성하도록 요구함으로써 인간 수준의 지능의 상징인 진정한 창작 원천을 직접 측정하기 위해.
• 다양한 AI 시스템의 창의성과 지능 능력을 비교할 수 있는 확장 가능하고 정량적인 기준을 마련하기 위해.
• 사전에 계산할 수 없는 복잡한 자연어 제약 조건을 실시간으로 충족해야 하므로, 'Google-proofing' 및 중국 방실 논거에 대한 저항력을 확보하기 위해.
• 인간 심사위원이 참여하여 과도하게 어려운 또는 비현실적인 제약 조합을 거부함으로써 공정성과 현실성을 확보하기 위해

제안 방법

• 인간 평가자가 정한 자연어 제약 조건 $ C $ 를 충족하는 특정 유형(예: 이야기, 시)의 창작 산물을 생성하도록 인공 에이전트를 도전한다.
• 인간 평가자는 산물이 해당 유형에 적합하고 모든 제약 조건을 충족하는지 여부를 판단하며, 미적 판단은 필요로 하지 않는다.
• 인간 심사위원은 산물 유형 $ t $ 와 제약 조건 $ C $ 의 조합이 평균 인간에게 비현실적이지 않은지 확인하여, 단순하거나 불가능한 도전을 방지한다.
• 다양한 평가자들 간에 테스트를 반복하며, 점차 제약 수를 늘려가다가 에이전트가 실패할 때까지 진행한다.
• 창의성은 모든 평가자들 사이에서 통과한 제약 조합의 평균 수로 측정되며, 이는 다양한 AI 시스템 간 비교 평가를 가능하게 한다.
• 이 방법은 평가자들에게 놀라움을 유도하도록 설계되어 있으며, 복잡하거나 예측 불가능한 제약 조건 하에서도 성공할 경우 진정한 창의적 지능을 시사한다.

실험 결과

연구 질문

• RQ1 계산 시스템이 인간 평가자가 유효하고 놀라운 것으로 간주하는 새로운 제약 조건을 충족하는 창작 산물(예: 이야기)을 생성할 수 있는가?
• RQ2 복잡한 자연어 제약 조건을 충족하는 능력이 창의적 시스템에서 인간 수준의 지능을 얼마나 잘 반영하는가?
• RQ3 Lovelace 2.0 테스트는 다양한 AI 에이전트의 창의적 능력을 정량적으로 비교하는 데 사용될 수 있는가?
• RQ4 사전에 프로그래밍된 응답이나 외부 지식(예: 'Google-proofing')을 통한 회피를 어떻게 방지할 수 있는가?
• RQ5 이 테스트는 단순히 창의성을 모방하는 시스템과 진정으로 새로운 일관된 산물을 창작하는 시스템을 효과적으로 구분할 수 있는가?

주요 결과

• 현재까지의 스토리 생성 시스템은 모두 제약 조건이 복잡하고 개방형일 경우 대응할 수 없어 Lovelace 2.0 테스트를 통과하지 못하고 있다.
• 제약 조건이 자연어로 표현되고 실시간으로 충족되어야 하므로, 이 테스트는 중국 방실 논거와 'Google-proofing'에 저항하도록 설계되어 있다.
• Lovelace 2.0 테스트는 다수의 평가자들 간에 통과한 제약 조합의 평균 수를 측정함으로써 AI 시스템 간의 정량적 비교를 가능하게 한다.
• 인간 심사위원의 참여로 인해 비현실적이거나 과도하게 어려운 제약 조합이 사용되지 않으며, 이는 테스트가 단순화되는 것을 방지한다.
• 에이전트가 복잡하거나 반직관적인 제약 조건 하에서도 성공할 경우 평가자들이 놀라움을 느끼며, 이는 진정한 창의적 능력을 시사한다.
• 핵심 시험 케이스인 소설 생성은 공리적 추론, 마음 이론, 정서적 추론 등 인간 수준의 인지 능력 전반을 요구한다.