[논문 리뷰] Address Instance-level Label Prediction in Multiple Instance Learning

Minlong Peng, Qi Zhang|arXiv (Cornell University)|2019. 05. 29.

Handwritten Text Recognition Techniques참고 문헌 15인용 수 6

한 줄 요약

이 논문은 BIMIL을 제안하며, 인스턴스 수준 레이블이 없이도 인스턴스 수준 예측을 직접 최적화할 수 있도록 인스턴스 수준에서 손실 함수를 정의함으로써, 인스턴스 수준 예측을 위한 새로운 다중 인스턴스 학습(MIL) 알고리즘을 개발한다. i.i.d. 가정 하에, 이 방법은 인스턴스 수준 위험을 진정된 추정치로 사용하여 인스턴스 수준 예측에서 완전 지도 학습 모델과 유사한 성능을 달성하면서도, 배그 수준 성능을 유지한다.

ABSTRACT

extit{Multiple Instance Learning} (MIL) is concerned with learning from bags of instances, where only bag labels are given and instance labels are unknown. Existent approaches in this field were mainly designed for the bag-level label prediction (predict labels for bags) but not the instance-level (predict labels for instances), with the task loss being only defined at the bag level. This restricts their application in many tasks, where the instance-level labels are more interested. In this paper, we propose a novel algorithm, whose loss is specifically defined at the instance level, to address instance-level label prediction in MIL. We prove that the loss of this algorithm can be unbiasedly and consistently estimated without using instance labels, under the i.i.d assumption. Empirical study validates the above statements and shows that the proposed algorithm can achieve superior instance-level and comparative bag-level performance, compared to state-of-the-art MIL methods. In addition, it shows that the proposed method can achieve similar results as the fully supervised model (trained with instance labels) for label prediction at the instance level.

연구 동기 및 목표

• 기존의 MIL 방법들이 배그 수준 예측에만 집중하고 인스턴스 수준 레이블 예측에서 성능이 열 劣하는 데서 비롯된 한계를 해결하기 위해.
• 인스턴스 수준 레이블에 접근할 필요 없이도 효과적인 인스턴스 수준 예측을 가능하게 하는 방법을 개발하기 위해.
• i.i.d. 가정 하에 오직 배그 수준 레이블만을 사용하여 인스턴스 수준 손실 추정을 이론적으로 정당화하기 위해.
• 제안된 방법이 인스턴스 수준 예측에서 완전 지도 학습 모델에 근접한 성능을 달성하는지 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 인스턴스 수준에서 특별히 정의된 새로운 손실 함수를 도입하여, 인스턴스 수준 예측을 위한 직접 최적화를 가능하게 한다.
• 정리 1에서 수식화된 i.i.d. 가정 하에 부정 인스턴스 비율을 활용하여 인스턴스 수준 위험의 비편향 추정치를 사용한다.
• 정리 2에서 보여지듯이, 이론적 일致성을 확보하기 위해 유한 베이즈 일致성 손실 함수를 사용한다.
• 신경망 아키텍처를 통해 인스턴스 표현을 학습 가능한 어텐션 메커니즘으로 풀링하고, 손실을 인스턴스 수준에서 계산한다.
• 이 방법은 오직 배그 수준 레이블을 사용하여 엔드 투 엔드로 훈련되며, 추정된 위험을 통해 인스턴스 수준 지도 학습이 암묵적으로 모델링된다.
• 이론적 분석을 통해, 유한 베이즈 일치성 손실 함수 하에서 추정된 인스턴스 수준 위험이 진정된 위험으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 오직 배그 수준 레이블만 존재할 때, 인스턴스 수준 레이블 예측을 효과적으로 최적화할 수 있는가?
• RQ2 인스턴스 레이블에 접근할 수 없이도 인스턴스 수준 위험을 비편향으로 추정할 수 있는가?
• RQ3 유한 베이즈 일치성 손실 함수를 사용하면, 인스턴스 수준 위험 추정치가 진정된 위험으로 일致성 있게 수렴하는가?
• RQ4 제안된 방법은 인스턴스 수준 예측 성능에서 완전 지도 학습 모델과 어떻게 비교되는가?
• RQ5 추정된 부정 인스턴스 비율에 대한 오차에 대해 이 방법은 얼마나 강인한가?

주요 결과

• BIMIL은 MNIST에서 2.7, SVHN에서 13.6, CIFAR10에서 31.0, 20Newsgroup에서 13.0의 인스턴스 수준 베이즈 위험을 기록했으며, 이는 완전 지도 학습 모델(Sup)이 각각 2.8, 14.7, 28.7, 10.8을 기록한 것과 유사하다.
• 네 가지 데이터셋 전반에서 BIMIL의 인스턴스 수준 베이즈 위험은 완전 지도 학습 모델과 일관되게 유사했으며, 이는 인스턴스 수준 예측에서 뛰어난 성능을 의미한다.
• 평균 제곱 오차(MSE) 손실을 사용했을 때, 교차 엔트로피 손실에 비해 과적합이 감소하고 테스트 데이터에서 더 좋은 일반화 성능을 보였다.
• 추정된 부정 인스턴스 비율 P(Y_X=0)의 변동성에 대해 강인했으며, 비율을 과소추정하는 것보다 과대추정했을 때 성능이 종종 향상되었다.
• BIMIL은 최신 기술 수준의 MIL 방법과 유사한 배그 수준 성능을 달성했으며, 테스트 베이즈 위험은 각각 MNIST 2.7, SVHN 13.6, CIFAR10 31.0, 20Newsgroup 13.0을 기록했고, 이는 모든 베이스라인을 초과하거나 동등하게 유지했다.
• 제거 실험을 통해 MIL 제약 조건을 통합함으로써 IMIL보다 배그 수준 성능이 향상되었으며, 제안된 설정의 유용성을 입증했다.