[논문 리뷰] A bag-to-class divergence approach to multiple-instance learning

Kajsa Møllersen, Jon Yngve Hardeberg외 1명|arXiv (Cornell University)|2018. 03. 07.

Image Retrieval and Classification Techniques참고 문헌 31인용 수 3

한 줄 요약

이 논문은 데이터 희소성 하에서 분류 성능을 향상시키기 위해 다중-예측 학습(MI)에 대한 백-투-클래스 발산 방법을 제안한다. 이 방법은 백들을 확률 분포로 모델링하여 통계적 발산 척도, 예를 들어 조건부 클래스 Kullback-Leibler(cKL) 정보를 활용할 수 있도록 하여, 데이터 희소성 상황에서도 성능 향상을 이룬다. 조건부 클래스 분포 모델링을 통해 기존의 백-투-백 발산보다 계산 비용을 감소시키고, 희소한 MI 데이터셋에서 성능을 향상시킨다.

ABSTRACT

In multi-instance (MI) learning, each object (bag) consists of multiple feature vectors (instances), and is most commonly regarded as a set of points in a multidimensional space. A different viewpoint is that the instances are realisations of random vectors with corresponding probability distribution, and that a bag is the distribution, not the realisations. In MI classification, each bag in the training set has a class label, but the instances are unlabelled. By introducing the probability distribution space to bag-level classification problems, dissimilarities between probability distributions (divergences) can be applied. The bag-to-bag Kullback-Leibler information is asymptotically the best classifier, but the typical sparseness of MI training sets is an obstacle. We introduce bag-to-class divergence to MI learning, emphasising the hierarchical nature of the random vectors that makes bags from the same class different. We propose two properties for bag-to-class divergences, and an additional property for sparse training sets.

연구 동기 및 목표

• 백들이 종종 소수의 인스턴스를 포함하기 때문에 데이터 희소성 문제를 다루는 데 어려움이 있는 다중-예측 학습에서의 과제를 해결한다.
• Kullback-Leibler 정보와 같은 백-투-백 발산의 높은 계산 비용을 극복한다.
• 백들을 확률 분포로 모델링하여 통계적으로 타당한 프레임워크를 제안함으로써 다중-예측 분류를 개선한다.
• 클래스 조건부 정보를 통합한 새로운 유형의 비유사도 척도인 백-투-클래스 발산을 제안한다.
• 데이터에 종속되지 않는 다중-예측 방법 평가를 위한 발산의 성질에 기반한 이론적 기반을 제공한다.

제안 방법

• 각 백을 인스턴스 위의 확률 분포로 모델링하여, 인스턴스 수준의 표현에서 분포 수준의 표현으로 초점을 이동시킨다.
• 백의 분포와 클래스 조건부 분포 사이의 비유사도 척도로 조건부 클래스 Kullback-Leibler(cKL) 정보를 사용하는 백-투-클래스 발산을 제안한다.
• 중요도 표본 추출을 적용하여 발산을 근사함으로써 효율적인 계산을 가능하게 하고, 분류기 입력을 위한 벡터 공간으로 매핑한다.
• 백-투-클래스 발산의 두 가지 핵심 성질을 도입한다: 클래스 조건부 독립성 하에서의 일관성과 클래스별 분포 이탈에 대한 민감성.
• 이 성질들을 희소한 훈련 세트, 특히 백당 인스턴스 수가 적은 상황에서도 강건성을 확보하기 위해 확장한다.
• 결과로 도출된 발산을 하류 분류기의 특징으로 사용하여 백 공간(BS)과 임bedded 공간(ES) 파라다임을 연결한다.

실험 결과

연구 질문

• RQ1 백들을 확률 분포로 모델링하는 것이 데이터 희소성 하에서 다중-예측 학습의 분류 성능 향상에 기여하는가?
• RQ2 정확도와 계산 효율성 측면에서 백-투-클래스 발산은 백-투-백 발산보다 어떻게 비교되는가?
• RQ3 백-투-클래스 발산이 강건성과 통계적 타당성을 확보하기 위해 만족해야 할 성질은 무엇인가?
• RQ4 cKL과 같은 클래스 조건부 발산이 백당 인스턴스 수가 적은 희소한 훈련 세트를 얼마나 잘 처리할 수 있는가?
• RQ5 제안된 방법은 표준 MI 가정을 초월하여 다양한 다중-예측 학습 문제에 얼마나 일반화되는가?

주요 결과

• 백-투-클래스 발산 방법은 특히 백당 인스턴스 수가 적은 경우에 희소한 다중-예측 데이터셋에서 분류 성능을 크게 향상시킨다.
• 제안된 조건부 클래스 Kullback-Leibler(cKL) 발산은 희소성 하에서 표준 백-투-백 KL 발산보다 오분류율 측면에서 뛰어난 성능을 보인다.
• 완전한 백-투-백 발산 계산보다 계산 비용을 감소시키면서도 높은 정확도를 유지한다.
• 중요도 표본 추출을 통해 발산의 효율적 근사를 가능하게 하여, 실제 다중-예측 문제에 대해 확장 가능한 방법이 되었다.
• 발산의 이론적 성질은 강건성을 보장하고 다중-예측 방법의 데이터에 종속되지 않는 평가를 가능하게 한다.
• Musk1 및 Musk2 데이터셋에서의 실험 결과, 희소한 훈련 세트에도 불구하고 최신 기술 수준의 다중-예측 방법과 경쟁 가능한 성능을 보였다.