[논문 리뷰] Machine Teaching by Domain Experts: Towards More Humane,Inclusive, and Intelligent Machine Learning Systems

Cláudio Pinhanez|arXiv (Cornell University)|2019. 08. 19.

Machine Learning and Data Classification참고 문헌 29인용 수 5

한 줄 요약

이 논문은 도메인 전문가들이 레이블링된 데이터 대신 고수준 개념을 사용하여 상호작용적 기계 학습 가르침을 통해 직접 기계 학습 시스템을 구축해야 한다고 제안한다. 이를 통해 더 인간다운, 포괄적인, 지능적인 AI를 실현한다. 이는 공동체가 협력하여 개발하는 대규모 개방형 학습 AI(Massive Open Learning AI, MOLA) 시스템의 개념을 도입하며, 기존의 데이터 집약적인 딥 러닝 접근 방식에 비해 더 강건하고 다양한, 신뢰할 수 있는 성능을 발휘한다.

ABSTRACT

This paper argues that a possible way to escape from the limitations of current machine learning (ML) systems is to allow their development directly by domain experts without the mediation of ML experts. This could be accomplished by making ML systems interactively teachable using concepts, definitions, and similar high level knowledge constructs. Pointing to the recent advances in machine teaching technology, we list key technical challenges specific for such expert-centric ML systems, and suggest that they are more humane and possibly more intelligent than traditional ML systems in many domains. We then argue that ML systems could also benefit greatly from being built by a community of experts as much as open source software did, creating more inclusive systems, in terms of enabling different points-of-view about the same corpus of knowledge. Advantages of the community approach over current ways to build ML systems, as well as specific challenges this approach raises, are also discussed in the paper.

연구 동기 및 목표

• 현재의 딥 러닝 시스템이 대규모 레이블링된 데이터에 크게 의존하고 있으며, 기계 학습 전문가에 의해 지배되는 데서 비롯되는 한계를 해결하기 위해.
• 기계 학습 교육을 통해 기계 학습 전문지식이 없는 도메인 전문가들이 개념과 정의를 사용하여 직접 기계 학습 시스템을 구성하고 가르칠 수 있도록 하는 방법을 탐색하기 위해.
• 오픈 소스 소프트웨어와 유사한 공동체 기반 개발 방식을 통해 대규모 개방형 학습 AI(MOLA) 시스템을 통해 기계 학습의 포용성, 내구성, 지능을 향상시키는 잠재력을 탐구하기 위해.
• 공동체 기반 기계 학습 개발을 가능하게 하면서도, 편향, 공감대 붕괴, 지식 장악 등의 위험을 최소화하기 위한 기술적 및 사회적 과제를 규명하기 위해.

제안 방법

• 데이터 기반 학습에서 개념 기반 학습으로의 패러다임 전환을 위한 기계 학습 교육을 도입하여, 도메인 전문가들이 정의 및 규칙과 같은 고수준 구성요소를 사용해 지식을 정의할 수 있도록 한다.
• 기계 학습 전문지식이 없는 전문가들이 개념, 제약 조건, 논리적 관계를 입력할 수 있도록 상호작용적인 기계 학습 시스템을 설계하며, 원시적인 레이블링된 예제 대신 이를 사용한다.
• 대규모이고 다양한, 중재되지 않은 도메인 전문가 공동체가 협력하여 기계 학습 시스템의 개발 및 정교화에 기여하는 MOLA(Massive Open Learning AI) 프레임워크를 제안한다.
• 오픈 소스 소프트웨어 개발과 유사하게, 공감대 형성, 공동 도구 사용, 집단 디버깅을 통해 공동체 역동성을 활용하여 시스템 품질을 향상시킨다.
• 기존의 기계 학습 교육 및 상호작용 학습 문헌을 기반으로 전문가 중심 인터페이스 및 시스템 아키텍처에 필요한 기술적 요구사항을 도출한다.
• 리눅스, 위키백과, 비트코인 등과 같은 오픈 소스 및 협업 시스템의 원칙을 활용하여 MOLA 시스템 내에서 공동체 거버넌스, 버전 관리, 갈등 해결 방식을 모델링한다.

실험 결과

연구 질문

• RQ1 기계 학습 교육을 통해 기계 학습 전문가나 대규모 레이블링된 데이터셋에 의존하지 않고 도메인 전문가가 직접 기계 학습 시스템을 구성할 수 있는 방법은 무엇인가?
• RQ2 비기계 학습 전문가가 효과적으로 복잡한 모델을 가르칠 수 있도록 하는 상호작용적이고 개념 기반의 인터페이스를 설계할 때 고려해야 할 주요 기술적 과제는 무엇인가?
• RQ3 도메인 전문가 공동체가 개인 또는 소규모 팀 개발에 비해 기계 학습 시스템의 지능, 내구성, 포용성을 어떻게 향상시킬 수 있는가?
• RQ4 공동체 기반 기계 학습 개발의 위험 요소(예: 편향 확산, 공감대 붕괴, 지식 장악)는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 MOLA 시스템은 리눅스와 같은 성공적인 오픈 소스 프로젝트처럼 공동체의 지식, 동기, 도구를 통해 높은 신뢰성과 품질을 어떻게 달성할 수 있는가?

주요 결과

• 도메인 전문가가 기계 학습 교육을 통해 기계 학습 시스템을 개발하면, 데이터 레이블링의 부담을 줄이고 비기계 학습 전문가들이 의미 있는 기여를 할 수 있어 더 인간다운, 포용적인 기계 학습 시스템을 만들 수 있다.
• MOLA 시스템은 집단 지능의 이점을 통해 시스템 목표에 대한 더 나은 공감대 형성, 구성원 변경에 대한 더 높은 내구성, 복잡한 시스템 행동에 대한 팀 전체의 이해를 향상시킨다.
• 다양한 시각, 공동 도구 사용, 협업 기반 데이터 수집 덕분에 공동체 기반 개발은 더 높은 품질과 신뢰성 있는 시스템을 만들어내며, 리눅스와 같은 오픈 소스 프로젝트의 성공 사례로 입증되었다.
• MOLA 시스템은 개념 지식과 공동체 기반 데이터 수집을 활용하여 데이터 부족 분야에서 딥 러닝의 한계를 극복할 수 있으며, 대규모 레이블링된 데이터셋에 대한 의존도를 낮출 수 있다.
• 위키백과나 이더리움에서 관찰된 바와 같이 편향 확산이나 공동체 분열 등의 위험에도 불구하고, MOLA 시스템의 개방적이고 투명하며 협업적인 구조는 부정적인 사회적 영향을 최소화하는 강력한 기반을 제공한다.
• 데이터 집약적인 딥 러닝에서 개념 기반 교육으로의 전환은 의료, 법, 경제와 같이 데이터가 부족하거나 윤리적으로 제약이 있는 복잡한 분야에서 지능형 시스템 개발을 가능하게 할 수 있다.