[논문 리뷰] Multi-Instance Learning with Any Hypothesis Class

Sivan Sabato, Naftali Tishby|arXiv (Cornell University)|2011. 07. 11.

Image Retrieval and Classification Techniques참고 문헌 41인용 수 22

한 줄 요약

이 논문은 어떤 가설 클래스에도 적용 가능한 다중-예제 학습(MIL)에 대한 통합 이론적 프레임워크를 제안하며, 샘플 복잡도가 백 크기의 다항로그 함수에만 의존한다는 것을 보여준다. 이는 한쪽 오류를 가진 임의의 효율적인 비-MIL 학습 알고리즘을 활용하는 PAC-학습 알고리즘을 제안하며, 백 크기와 다항식 시간 복잡도를 유지하면서 일반화 보장을 유지한다.

ABSTRACT

In the supervised learning setting termed Multiple-Instance Learning (MIL), the examples are bags of instances, and the bag label is a function of the labels of its instances. Typically, this function is the Boolean OR. The learner observes a sample of bags and the bag labels, but not the instance labels that determine the bag labels. The learner is then required to emit a classification rule for bags based on the sample. MIL has numerous applications, and many heuristic algorithms have been used successfully on this problem, each adapted to specific settings or applications. In this work we provide a unified theoretical analysis for MIL, which holds for any underlying hypothesis class, regardless of a specific application or problem domain. We show that the sample complexity of MIL is only poly-logarithmically dependent on the size of the bag, for any underlying hypothesis class. In addition, we introduce a new PAC-learning algorithm for MIL, which uses a regular supervised learning algorithm as an oracle. We prove that efficient PAC-learning for MIL can be generated from any efficient non-MIL supervised learning algorithm that handles one-sided error. The computational complexity of the resulting algorithm is only polynomially dependent on the bag size.

연구 동기 및 목표

• 특정 응용 분야에 종속되지 않는, 어떤 가설 클래스에도 적용 가능한 일반적인 MIL 이론적 분석을 제공하는 것.
• MIL에서 샘플 복잡도에 대한 날카운 경계를 설정하여, 백 크기에 대해 다항로그 함수 의존성만 존재함을 보여주는 것.
• 임의의 효율적인 비-MIL 학습기(오라클)를 사용하는 일반적인 PAC-학습 알고리즘을 개발하는 것.
• 정규 감독 학습과 MIL의 분석을 통합하여 두 분야 간 강력한 이론적 연결 고리를 드러내는 것.
• 비-MIL 학습 기술의 발전을 MIL로 이식 가능하게 하며, 복잡도와 일반화 성능에 보장된 성능을 제공하는 것.

제안 방법

• 비-MIL 학습 문제를 가설과 레이블의 변환을 통해 MIL 문제로 매핑하는 일반적인 MIL 학습 프레임워크를 제안한다.
• 비-MIL 오라클 기반의 약한 학습기(weak learner)를 사용하는 새로운 PAC-학습 알고리즘을 도입하며, 오라클 성능에 기반한 오류 경계를 유도한다.
• AdaBoost∗ 알고리즘을 수정된 약한 학습기와 함께 적용하여, 비-MIL 학습기에서 실수값 백 분류기로 변환하는 방법을 제시한다.
• 커버링 수, 지방-산산화 차원, 라데마처 복잡도를 사용하여 다양한 가설 클래스에 대해 MIL에서 일반화 오차의 경계를 설정한다.
• 불리츠 또는 단조 증가 함수로 확장된 불리츠 함수를 갖는 백 함수를 분석하여, 단일 인스턴스 가설 복잡도를 통해 일반화 경계를 도출한다.
• 오라클이 효율적인 경우, 결과 MIL 알고리즘의 런타임이 백 크기, 1/ϵ, 1/δ에 대해 다항식 시간 복잡도임을 보여, 계산 복잡도 보장을 유도한다.

실험 결과

연구 질문

• RQ1 특정 도메인 가정 없이, 어떤 가설 클래스에도 적용 가능한 통합 이론적 분석을 MIL에 대해 개발할 수 있는가?
• RQ2 일반화된 MIL에서 샘플 복잡도가 백 크기에 어떻게 의존하는가? 그리고 전통적인 감독 학습과 비교해보면 어떠한가?
• RQ3 임의의 효율적인 비-MIL 학습 알고리즘(한쪽 오류를 가짐)을 사용하여 효율적인 PAC-학습 알고리즘을 MIL에 구성할 수 있는가?
• RQ4 MIL에서 일반화 복잡도 측정치(예: VC 차원, 라데마처 복잡도)는 단일 인스턴스 학습에서의 측정치와 어떻게 관련이 있는가?
• RQ5 분리 초평면과 OR 기반 백 레이블링을 포함한 실용적인 MIL 설정에서 이론적 경계가 타당한가?

주요 결과

• 이진 MIL의 VC 차원은 O(d log r)이며, 여기서 d는 기본 가설 클래스의 VC 차원이고 r은 백 크기이며, 이는 r에 대해 다항로그 함수 의존성만 존재함을 보여준다.
• d차원 공간에서의 분리 초평면에 대해, MIL의 VC 차원은 Ω(d log r)이며, 이는 중요한 경우에서 상수 인자 수준까지 경계가 날카로움을 나타낸다.
• 단조 불리츠 함수를 갖는 이진 MIL의 의사-차원은 O(d log r)이며, 이는 광범위한 레이블링 함수 클래스로 경계를 확장한 것이다.
• 불리츠 백 함수를 갖는 MIL 가설의 커버링 수는 단일 인스턴스 가설 클래스의 커버링 수로 경계가 되며, 일반화 전이를 가능하게 한다.
• 불리츠 백 함수를 갖는 실수값 MIL의 지방-산산화 차원은 r에 대해 다항로그 함수이며, 인스턴스 가설 클래스의 지방-산산화 차원에 대해 준선형 함수이다.
• 평균 백 크기가 유한한 이진 MIL의 라데마처 복잡도는 O(√(d log r / m))이며, 여기서 m은 샘플 크기이며, 이는 백 크기에 대해 약한 민감도를 보여준다.