[논문 리뷰] Active Learning with Partial Feedback

Peiyun Hu, Zachary C. Lipton외 2명|arXiv (Cornell University)|2018. 02. 21.

Machine Learning and Algorithms참고 문헌 32인용 수 31

한 줄 요약

이 논문은 계층적 다중분류 설정에서 비용 효율적인 표기 작업을 가능하게 하기 위해, 어떤 예시를 레이블링할 것인지와 어떤 이진 질문(예: '개입니까?')을 질문할 것인지 동시에 선택하는 Active Learning with Partial Feedback (ALPF) 프레임워크를 제안한다. 표준 적대적 학습 대비 Tiny ImageNet에서 ALPF는 상위-1 정확도를 26% (상대적) 향상시키고 표기 비용을 42% 감소시켰으며, 이는 기존의 어려운 예시에 초점을 맞추는 전통적인 접근 방식에 도전한다.

ABSTRACT

While many active learning papers assume that the learner can simply ask for a label and receive it, real annotation often presents a mismatch between the form of a label (say, one among many classes), and the form of an annotation (typically yes/no binary feedback). To annotate examples corpora for multiclass classification, we might need to ask multiple yes/no questions, exploiting a label hierarchy if one is available. To address this more realistic setting, we propose active learning with partial feedback (ALPF), where the learner must actively choose both which example to label and which binary question to ask. At each step, the learner selects an example, asking if it belongs to a chosen (possibly composite) class. Each answer eliminates some classes, leaving the learner with a partial label. The learner may then either ask more questions about the same example (until an exact label is uncovered) or move on immediately, leaving the first example partially labeled. Active learning with partial labels requires (i) a sampling strategy to choose (example, class) pairs, and (ii) learning from partial labels between rounds. Experiments on Tiny ImageNet demonstrate that our most effective method improves 26% (relative) in top-1 classification accuracy compared to i.i.d. baselines and standard active learners given 30% of the annotation budget that would be required (naively) to annotate the dataset. Moreover, ALPF-learners fully annotate TinyImageNet at 42% lower cost. Surprisingly, we observe that accounting for per-example annotation costs can alter the conventional wisdom that active learners should solicit labels for hard examples.

연구 동기 및 목표

• 적대적 학습에서 원자적 레이블링 가정과 실제 표기 작업 간의 괴리, 즉 일반적으로 순차적인 예/아니요 질문을 포함하는 작업을 해결하기 위해.
• 각 예시에 대해 필요한 이진 질문 수를 반영하여 표기 비용을 동적으로 및 예시별로 모델링하기 위해.
• 레이어가 점진적으로 공개되는 부분 레이블 데이터로부터 효과적으로 학습할 수 있는 학습 프레임워크를 개발하기 위해.
• 기존 적대적 학습의 지혜와는 반대로, 초기에 '더 쉬운' 예시를 선택하는 것이 전체 표기 비용을 줄이는 데 더 효율적인지 조사하기 위해.
• 정보 수확량과 레이블 제거/유지 균형을 고려한 할당 함수를 설계하여 부분 레이블링을 효율적으로 수행하기 위해.

제안 방법

• ALPF는 사전 정의된 계층적 레이블 구조(예: WordNet)를 사용하여 복합 클래스를 정의하고, 다양한 정도의 정밀도에서 이진 질문을 가능하게 한다.
• 각 라운드에서 학습자는 (예시, 클래스) 쌍을 선택하고, 표기자가 예/아니요 답변을 제공함으로써 일부 클래스를 제거하고 부분 레이블을 남긴다.
• 모델은 나머지 클래스와 제거된 클래스 사이의 이진 분류 문제로 간주하여 부분 레이블에서 학습하며, 신뢰도를 위해 소프트맥스 확률 합을 사용한다.
• 세 가지 할당 함수를 제안한다: 기대 정보 수확량(EIG), 기대 신뢰도 감소(EDC), 기대 남은 신뢰도(ERC), 이는 질문 선택을 이끈다.
• 예시별 조기 정지 기능을 지원하며, 비용 효율성이 더 높을 경우 완료되지 않은 레이블링을 포기함으로써 동적 비용 제어가 가능하다.
• 확률적 추론 메커니즘이 남아있는 클래스에 할당된 총 확률 질량을 계산하여, 부분 레이블이 존재하는 동안에도 불확실성 추정이 가능하다.

실험 결과

연구 질문

• RQ1 원자적 레이블링이 아닌 순차적인 이진 질문을 통해 부분 피드백을 允허함으로써 적대적 학습의 비용 효율성을 높일 수 있는가?
• RQ2 각 예시의 표기 비용이 변동적일 경우를 고려할 때, 특히 예시 선택 전략에 영향을 미치는가?
• RQ3 레이블 제거를 우선시하는 할당 함수(EDC)나 남은 신뢰도를 우선시하는 함수(ERC)가 부분 피드백 환경에서 전통적인 불확실성 기반 방법보다 우수한가?
• RQ4 ALPF에서는 불확실성이 낮은 '더 쉬운' 예시를 먼저 레이블링하는 것이 비용 효율성이 더 높은가?
• RQ5 부분적으로 레이블링된 데이터에서 학습된 모델의 일반화 성능은 얼마나 우수한가, 특히 레이블이 점진적으로 공개될 경우에 대해?

주요 결과

• Tiny ImageNet에서 ERC 할당 함수를 사용한 ALPF는 i.i.d. 기준선 대비 상대적으로 26% 향상된 상위-1 정확도와 절대적으로 8.1% 향상된 정확도를 달성했으며, 표기 예산의 30%만을 사용했다.
• ALPF 학습자는 표준 적대적 학습 방법보다 Tiny ImageNet을 완전히 레이블링하기 위해 42% 적은 이진 질문을 사용했다.
• ERC 할당 함수는 정확도와 비용 효율성 양면에서 EIG와 EDC를 모두 능가했으며, 특히 클래스 계층과 레이블 분포 이동을 다룰 때 유리했다.
• 진단 분석 결과, EIG는 먼저 어려운 예시를 집중적으로 선택하는 반면, ERC와 EDC는 더 쉬운 클래스를 우선시하여 더 빠른 레이블 완료와 낮은 비용을 이끌어냈다.
• 결과적으로 기존 적대적 학습의 가정인 '어려운 예시를 먼저 레이블링해야 한다'는 전제를 도전하며, 예산 제약 하에서 비용 인식 전략이 더 뛰어난 성능을 낼 수 있음을 보여주었다.
• 이 프레임워크는 변화하는 부분 레이블에서 효과적으로 학습하며, 입력 데이터에 대한 적대적 편향이 있을 경우에도 강건함을 입증했다.