[논문 리뷰] SIMILAR: Submodular Information Measures Based Active Learning In Realistic Scenarios

Suraj Kothawade, Nathan Beck외 2명|arXiv (Cornell University)|2021. 07. 01.

Machine Learning and Algorithms참고 문헌 45인용 수 22

한 줄 요약

이 논문은 클래스 불균형, 중복성, 분포 외(OOD) 데이터와 같은 현실적인 과제를 해결하기 위해 고위상 정보 측정법(SIM)을 할당 함수로 사용하는 통합형 활성 학습 프레임워크인 SIMILAR을 제안한다. 내재된 분포(ID) 및 OOD 집합에 대한 조건부 처리를 통합함으로써, CIFAR-10, MNIST, ImageNet에서 최신 기준 대비 희귀 클래스에서 최대 18% 높은 정확도와 OOD 시나리오에서 10% 향상된 성능을 달성한다.

ABSTRACT

Active learning has proven to be useful for minimizing labeling costs by selecting the most informative samples. However, existing active learning methods do not work well in realistic scenarios such as imbalance or rare classes, out-of-distribution data in the unlabeled set, and redundancy. In this work, we propose SIMILAR (Submodular Information Measures based actIve LeARning), a unified active learning framework using recently proposed submodular information measures (SIM) as acquisition functions. We argue that SIMILAR not only works in standard active learning, but also easily extends to the realistic settings considered above and acts as a one-stop solution for active learning that is scalable to large real-world datasets. Empirically, we show that SIMILAR significantly outperforms existing active learning algorithms by as much as ~5% - 18% in the case of rare classes and ~5% - 10% in the case of out-of-distribution data on several image classification tasks like CIFAR-10, MNIST, and ImageNet. SIMILAR is available as a part of the DISTIL toolkit: "https://github.com/decile-team/distil".

연구 동기 및 목표

• 클래스 불균형, 중복성, 분포 외(OOD) 데이터와 같은 현실적이지만 이상적이지 않은 데이터 시나리오에서 기존 활성 학습 방법의 한계를 해결하기 위해.
• 다양한 실제 활성 학습 환경에서 높은 성능을 유지하면서도 광범위한 재구성 없이도 확장 가능한 단일 프레임워크를 개발하기 위해.
• 희귀 또는 OOD 샘플이 포함된 시나리오에서 현재 방법이 일반화하지 못하는 불확실성 기반 및 다양성 기반 할당 함수의 단점을 극복하기 위해.
• 고위상 정보 측정법(SIM)을 사용해 내재된 분포 및 OOD 집합에 대한 조건부 처리를 통해 안정적이고 강건한 활성 학습 성능을 달성하기 위해.

제안 방법

• 고위상 정보 측정법(SIM)을 할당 함수로 사용하여 정보성과 다양성을 균형 잡는 통합형 활성 학습 프레임워크인 SIMILAR을 제안한다.
• 두 가지 주요 변형을 도입한다: SMI(Submodular Mutual Information)와 SCMI(Submodular Conditional Mutual Information)이며, 여기서 SCMI는 내재된 분포(ID) 및 OOD 집합에 대해 명시적인 조건부 처리를 통해 선택 정확도를 향상시킨다.
• 이전에 선택된 ID 및 OOD 점에 대해 조건부 처리하는 Logdetcmi 및 Flcmi와 같은 SCMI 함수를 사용하여 불확실성과 다양성을 동시에 통합한다.
• 시간이 지남에 따라 할당 함수를 조건부 처리하기 위해 내재된 분포(ID) 집합과 분포 외(OOD) 집합을 유지하고 동적으로 업데이트한다.
• 딥 네ural 네트워크 표현을 활용해 유사도를 계산하고, 확장 가능한 정보성과 다양성을 갖춘 샘플 선택을 위한 고위상 최적화를 실현한다.
• 오픈소스 가용성과 실제 적용을 위해 DISTIL 툴킷에 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 단일 활성 학습 프레임워크가 동시에 희귀 클래스, 중복성, OOD 데이터와 같은 다수의 현실적인 데이터 과제를 효과적으로 다룰 수 있는가?
• RQ2 내재된 분포 및 분포 외 집합에 대한 조건부 처리가 표준 할당 함수에 비해 활성 학습 성능을 어떻게 향상시키는가?
• RQ3 고위상 정보 측정법(SMI 및 SCMI)이 다양한 데이터셋에서 정확도와 분산 측면에서 불확실성 기반 및 다양성 기반 기준 대비 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 ID 및 OOD 집합에 대해 조건부 처리하는 SCMI 변형이 SMI 또는 기준 방법에 비해 다수의 활성 학습 라운드 동안 더 안정적이고 신뢰할 수 있는 성능을 보이는가?
• RQ5 SIMILAR는 ImageNet과 같은 대규모 실제 데이터셋에 어떻게 스케일업되며, 희귀 클래스 및 OOD 탐지 시나리오에서 성능 향상을 유지하는가?

주요 결과

• SIMILAR는 CIFAR-10 및 MNIST에서 희귀 클래스 활성 학습 시 최신 기준 대비 최대 18% 높은 정확도를 달성한다.
• 분포 외(OOD) 데이터 시나리오에서는 Badge 및 Glister-Active와 같은 최신 기준 방법 대비 5–10% 향상된 성능을 보인다.
• SCMI 기반 할당 함수(Logdetcmi 및 Flcmi)는 후속 활성 학습 라운드에서 SMI 및 기준 방법을 일관되게 능가하며, 조건부 처리가 강화될수록 2–3% 향상된 성능를 기록한다.
• SCMI 함수는 런 간 훈련 성능의 분산이 가장 낮아, 실제 적용에서 더 높은 강건성과 신뢰성을 보여준다.
• 특히 OOD가 많은 미라벨 데이터셋에서 다른 방법보다 더 높은 비율의 내재된 분포(ID) 포인트를 선택함으로써, 목표 작업과의 더 나은 일치를 보여준다.
• 작은 검증 세트에서도 강력한 성능를 유지하며, 대규모 라벨된 검증 세트나 사전 학습된 표현에 의존하는 방법들을 능가한다.