[논문 리뷰] Human Evaluation of Interpretability: The Case of AI-Generated Music Knowledge

Haizi Yu, Heinrich Taube외 2명|arXiv (Cornell University)|2020. 04. 15.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 학생들이 기호적 AI 출력물의 구두 해석을 작성함으로써, 인공지능이 생성한 음악 규칙의 해석 가능성에 대한 인간 중심 평가 프레임워크를 제안한다. 히스토그램 형태로 표현된 음악 이론 규칙에 대한 자유형 서술문을 수집하고 평가함으로써, 인간이 복잡한 인공지능이 발견한 지식을 성공적으로 해독할 수 있음을 입증한다. 이는 인공지능을 예술 및 인문학 분야에 적용할 때의 잠재력과 도전 과제를 드러낸다.

ABSTRACT

Interpretability of machine learning models has gained more and more attention among researchers in the artificial intelligence (AI) and human-computer interaction (HCI) communities. Most existing work focuses on decision making, whereas we consider knowledge discovery. In particular, we focus on evaluating AI-discovered knowledge/rules in the arts and humanities. From a specific scenario, we present an experimental procedure to collect and assess human-generated verbal interpretations of AI-generated music theory/rules rendered as sophisticated symbolic/numeric objects. Our goal is to reveal both the possibilities and the challenges in such a process of decoding expressive messages from AI sources. We treat this as a first step towards 1) better design of AI representations that are human interpretable and 2) a general methodology to evaluate interpretability of AI-discovered knowledge representations.

연구 동기 및 목표

• 비기술적 분야, 특히 음악 이론에서 인공지능이 생성한 지식의 해석 가능성 평가를 위한 체계적 방법을 개발하는 것.
• 사람들이 자유형 서면 기술을 통해 복잡한 기호적 인공지능 출력물(예: 음악적 특성의 확률 히스토그램)을 의미 있게 해석할 수 있는지 조사하는 것.
• 질적 인간 해석에 대한 투명하고 기준에 기반한 평가 절차를 구축하여 공정성과 신뢰성을 확보하는 것.
• 인간이 생성한 텍스트 기반 해석을 인공지능이 발견한 지식 표현의 해석 가능성 평가를 위한 대체 방법으로 사용할 수 있는지 평가하는 것.
• 음악을 넘어 다른 분야에 적용 가능한 일반화 가능한 방법론의 기반을 마련하는 것.

제안 방법

• 데이터 기반 패턴 탐색을 통해 서사 음악에서 음악 구성 규칙을 학습하는 웹 기반 인공지능 시스템 MUS-ROVER를 설계하였다.
• 실제 음악 구조에 대한 경험적 확률 분포에서 유도된 특성 값의 히스토그램(예: 음성 이동, 카드의 역전)으로 음악 규칙을 표현하였다.
• CS+음악 수강생들에게 2주 동안의 과제를 제공하여 25개의 인공지능이 생성한 규칙(11개의 1-그램, 14개의 2-그램 규칙)에 대한 자유형 서술을 작성하도록 하였다.
• 핵심 용어(예: 카드, 윈도우, 기초 특성, n-그램, 히스토그램)의 정의를 상세히 제공하여 이해를 표준화하는 자가 사전 훈련 단계를 마련하였다.
• 학생들과 교육 담당자들이 함께 참여하여 핵심 음악이론 키워드에 대한 공감대를 바탕으로 개선된 포괄적인 평가 기준을 공동으로 개발하기 위한 투명한 토론 세션을 실시하였다.
• 최종 평가 기준에 따라 수작업으로 학생들의 응답을 평가하였으며, 수치나 기호의 반복보다는 질적 통찰을 중심으로 1개 규칙당 2점의 점수 체계를 적용하였다.

실험 결과

연구 질문

• RQ1 자유형 서면 기술을 통해 기호적 수치 히스토그램으로 표현된 인공지능이 생성한 음악 규칙을 인간이 성공적으로 해석할 수 있는가?
• RQ2 인공지능이 발견한 규칙을 해독할 때 인간의 해석이 기존 음악이론 개념과 어느 정도 일치하는가?
• RQ3 응답이 개방형이고 질적일 경우 인간이 인공지능이 생성한 지식을 해석하는 데 겪는 주요 과제는 무엇인가?
• RQ4 질적 인간 해석을 평가하기 위해 신뢰성 있고 투명하며 공정한 평가 기준을 어떻게 구성할 수 있는가?
• RQ5 이 방법론적 프레임워크는 음악을 넘어 다른 분야의 인공지능 지식의 해석 가능성 평가에 일반화될 수 있는가?

주요 결과

• 다수의 학생들이 인공지능이 생성한 음악 규칙을 성공적으로 해석하여, 기호적 인공지능 출력물이 도메인 전문 지식이 적은 상태에서도 인간이 의미 있게 해독할 수 있음을 입증하였다.
• 학생들은 히스토그램에서 알려진 음악이론 개념(예: 음성 이동, 카드의 역전)을 식별할 수 있었으며, 이는 인공지능이 발견한 규칙가 기존 음악 원칙과 일치함을 확인한다.
• 해당 해석의 상당수는 알려진 규칙와 직접적으로 연결되지 않은 새로운 또는 놀라운 통찰을 드러내어, 인공지능이 명백하지 않은 패턴을 발견할 수 있음을 시사한다.
• 가장 흔한 오류는 n-그램 규칙에서 조건부 확률의 방향을 잘못 이해하는 것이었으며, 이는 인공지능 출력물에서 순차적 의존성 이해에 있어 핵심 과제임을 보여준다.
• 협업 기반의 평가 기준 개발 과정을 통해 더 포용적이고 신뢰할 수 있는 평가 프레임워크가 도출되었으며, 이는 질적 응답 평가의 투명성과 공정성을 높였다.
• 본 연구는 인간이 작성한 자유형 서술 해석 평가가 인공지능이 생성한 지식 표현의 해석 가능성 평가에 실질적이고 유의미한 방법임을 경험적으로 입증한다.