[논문 리뷰] ALiPy: Active Learning in Python

Ying-Peng Tang, Guoxiang Li외 1명|arXiv (Cornell University)|2019. 01. 12.

Machine Learning and Algorithms참고 문헌 14인용 수 37

한 줄 요약

ALiPy는 모듈식 구성요소와 20개 이상 전략을 제공하는 활성 학습용 파이썬 도구상자이며, 다중 레이블 데이터, 노이즈가 있는 주석자, 비용 민감한 질의 등 다양한 설정을 지원합니다.

ABSTRACT

Supervised machine learning methods usually require a large set of labeled examples for model training. However, in many real applications, there are plentiful unlabeled data but limited labeled data; and the acquisition of labels is costly. Active learning (AL) reduces the labeling cost by iteratively selecting the most valuable data to query their labels from the annotator. This article introduces a Python toobox ALiPy for active learning. ALiPy provides a module based implementation of active learning framework, which allows users to conveniently evaluate, compare and analyze the performance of active learning methods. In the toolbox, multiple options are available for each component of the learning framework, including data process, active selection, label query, results visualization, etc. In addition to the implementations of more than 20 state-of-the-art active learning algorithms, ALiPy also supports users to easily configure and implement their own approaches under different active learning settings, such as AL for multi-label data, AL with noisy annotators, AL with different costs and so on. The toolbox is well-documented and open-source on Github, and can be easily installed through PyPI.

연구 동기 및 목표

• 정보성 샘플에 대한 선택적 질의를 가능하게 하여 라벨링 비용을 감소시키는 것.
• 활성 학습 방법의 구현 및 평가를 위한 모듈식이며 쉽게 구성 가능한 프레임워크를 제공한다.
• 다중 레이블 데이터, 노이즈가 있는 라벨링 또는 비용 민감한 라벨링, 대규모 작업 등 다양한 활성 학습 설정을 지원한다.
• 활성 학습 파이프라인의 용이한 실험, 비교 및 커스터마이징을 촉진한다.

제안 방법

• 활성 학습 프로세스를 모듈식 구성 요소(데이터 조작, 질의 전략, 인덱스 관리, 지표, 실험, 시뮬레이터 등)로 분해한다.
• 프레임워크 내에 20개가 넘는 최신 활성 학습 알고리즘을 구현한다.
• 상속 없이 사용자가 모듈을 자신의 구현으로 대체할 수 있도록 허용한다(저결합).
• 최소 코드로 엔드투엔드 실험을 실행하기 위한 AL 실험 클래스(AlExperiment)를 제공한다.
• 다중 레이블 데이터, 노이즈가 있거나 비용이 높은 오라클, 사용자 정의 질의 유형 등을 포함한 새로운 설정을 지원한다.
• 실험 편의를 위한 데이터 분할, 로깅, 중지 기준 및 시각화 도구를 제공한다.

실험 결과

연구 질문

• RQ1 실험과 비교를 용이하게 하기 위해 활성 학습이 모듈식이고 플레이-투-플레이(plug-and-play) 가능한 파이썬 도구상자에서 어떻게 구현될 수 있는가?
• RQ2 기존에 존재하는 어떤 활성 학습 전략을 통합할 수 있으며, 사용자가 서로 다른 데이터 및 주석 설정에서 이를 어떻게 평가할 수 있는가?
• RQ3 ALiPy가 다중 레이블 데이터, 노이즈가 있는 주석자, 비용 민감한 라벨링을 하나의 통합 프레임워크로 수용할 수 있는가?
• RQ4 데이터 처리, 추적, 시각화 등 어떤 도구 세트가 활성 학습 방법의 신속한 프로토타이핑과 분석에 가장 잘 지원하는가?

주요 결과

• ALiPy는 데이터 처리, 질의, 인덱싱, 지표, 실험 및 시각화를 위한 전용 구성 요소를 갖춘 모듈식 아키텍처를 제공합니다.
• 이 도구상자에는 다양한 설정에서 20개가 넘는 활성 학습 알고리즘의 구현이 포함됩니다.
• 유연한 구성과 손쉬운 사용자 맞춤화를 지원하여 연구자들이 상속 없이 모듈을 교체하고 다양한 주석 조건을 시뮬레이션할 수 있게 합니다.
• ALiPy는 최소한의 코드로 AL 워크플로를 신속하게 배포하기 위한 엔드투엔드 실험 클래스(AlExperiment)를 제공합니다.
• 포괄적인 문서와 GitHub 저장소는 오픈 소스 사용 및 확장을 촉진합니다.