[논문 리뷰] Strength from Weakness: Fast Learning Using Weak Supervision

Joshua Robinson, Stefanie Jegelka외 1명|arXiv (Cornell University)|2020. 02. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 65인용 수 5

한 줄 요약

이 논문은 약한 지도 학습에 대한 이론적 프레임워크를 제안하며, 강한 레이블의 수가 적은 상황에서 풍부한 약한 레이블이 학습을 가속화할 수 있음을 보여주며, 표준적인 $\mathcal{O}(1/\sqrt{n})$ 대신 더 빠른 $\mathcal{O}(1/n)$ 일반화 속도를 달성한다. 이 방법은 약한 레이블 데이터로부터 특징을 전이하며, 성능은 약한 데이터의 양과 작업 간 관련성에 따라 연속적으로 달라지며, 시각 작업 전반에 걸쳐 실증적으로 검증되었다.

ABSTRACT

We study generalization properties of weakly supervised learning. That is, learning where only a few "strong" labels (the actual target of our prediction) are present but many more "weak" labels are available. In particular, we show that having access to weak labels can significantly accelerate the learning rate for the strong task to the fast rate of $\mathcal{O}( icefrac1n)$, where $n$ denotes the number of strongly labeled data points. This acceleration can happen even if by itself the strongly labeled data admits only the slower $\mathcal{O}( icefrac{1}{\sqrt{n}})$ rate. The actual acceleration depends continuously on the number of weak labels available, and on the relation between the two tasks. Our theoretical results are reflected empirically across a range of tasks and illustrate how weak labels speed up learning on the strong task.

연구 동기 및 목표

• 강한 레이블이 몇 개 뿐인 상황에서 약한 지도 학습의 이론적 기초를 확립하는 것.
• 풍부한 약한 레이블이 강한 작업에 대한 학습 성능을 증명 가능하게 향상시킬 수 있는지 조사하는 것.
• 중앙 조건을 사용하여 약한 작업과 강한 작업 간의 관계를 정량화함으로써 일반화 경계를 도출하는 것.
• 약한 데이터에서 학습한 특징 전이가 강한 레이블 전용 학습보다 더 빠른 수렴 속도를 낼 수 있음을 보여주는 것.
• 여러 시각 벤치마크에서 이론적 결과를 실증적으로 검증하는 것.

제안 방법

• 약한 레이블에서 학습하고 강한 작업에 특징을 전이하는 일반적인 특징 학습 알고리즘을 제안한다.
• 작업 간 관련성을 공식적으로 측정하기 위해 중앙 조건을 도입하며, 공유 임bedding이 두 작업 모두에 유리하게 작용하도록 보장한다.
• 약한 데이터의 증가율($m$)이 강한 데이터의 증가율($n$)에 비해 어떻게 영향을 미치는지에 따라 강한 작업의 일반화 경계를 유도한다.
• 초과 위험를 제어하기 위해 Cramér-Chernoff 농도 경계를 분석에 활용한다.
• 이중 단계 학습 프rotocol을 사용한다: 먼저 $m$개의 약한 레이블에서 약한 모델을 사전 학습하고, 그 특징을 고정한 후 $n$개의 강한 레이블에서 강한 모델을 미세 조정한다.
• 제어된 데이터 분할을 사용하여 MNIST, SVHN, CIFAR-10, CIFAR-100에서 ResNet 기반 특징 추출기와 완전 연결 헤드를 사용해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습이 소규모 강한 레이블 세트에서 학습을 상당히 가속화할 수 있는가?
• RQ2 약한 지도 학습이 느린 수렴 속도가 아닌 빠른 수렴 속도를 낳는 조건은 무엇인가?
• RQ3 약한 데이터의 양과 강한 작업에 대한 관련성은 학습 속도에 어떻게 영향을 미치는가?
• RQ4 강한 레이블만으로는 $\mathcal{O}(1/\sqrt{n})$의 일반화 오차를 낼 뿐인 상황에서, 약한 레이블 데이터로부터의 특징 전이가 $\mathcal{O}(1/n)$의 일반화 오차를 달성할 수 있는가?
• RQ5 약한 데이터에서 학습한 특징이 여전히 강한 작업에 유익한지를 보장하는 이론적 조건은 무엇인가?

주요 결과

• 약한 레이블 수 $m$이 강한 레이블 수 $n$의 제곱에 비례하여 증가할 경우, 강한 작업은 표준적인 $\mathcal{O}(1/\sqrt{n})$보다 훨씬 빠른 $\widetilde{\mathcal{O}}(1/n)$ 수렴 속도를 달성한다.
• 강한 작업의 일반화 오차는 $m$과 약한 작업의 일반화 오차에 따라 느린 속도와 빠른 속도 사이를 부드럽게 보간한다.
• $m = \Omega(n^2)$ 이고 약한 작업의 초과 위험도 $\mathcal{O}(1/\sqrt{m})$일 경우, 강한 작업은 $\widetilde{\mathcal{O}}(1/n)$의 초과 위험도를 달성하며, 이는 증명 가능한 가속화를 보여준다.
• 중앙 조건은 관측할 수 없는 상태에서라도 두 작업 모두에서 잘 작동하는 공유 특징 임베딩이 존재함을 보장한다.
• 실증 결과는 이론적 빠른 수렴 속도가 MNIST, SVHN, CIFAR-10, CIFAR-100에서 실제로 관찰되며, 약한 지도 학습으로부터의 일관된 향상이 있음을 확인한다.
• 작은 약한 네트워크 아키텍처를 사용할 때도 방법이 강건함을 보여주며, 이는 가속화 효과가 모델 크기보다는 데이터 양과 작업 간 관련성에 의해 결정됨을 시사한다.