[논문 리뷰] Stochastic Learning of Multi-Instance Dictionary for Earth Mover's Distance based Histogram Comparison

Jihong Fan, Ru‐Ze Liang|arXiv (Cornell University)|2016. 09. 03.

Image Retrieval and Classification Techniques참고 문헌 1인용 수 3

한 줄 요약

이 논문은 확률적 최적화를 사용하여 EMD 기반 히스토GRAM 유사도를 직접 최적화하는 첫 번째 EMD 최적의 다중 인스턴스 딕셔너리 학습 방법을 제안한다. 삼중항(기본, 양성, 음성)을 사용하여, 지구이동거리(EMD) 기반 히스토GRAM 유사도를 최소화하는 딕셔너리를 학습한다. 이 방법은 의료 영상 및 자연어 처리 검색 작업에서 기존 방법들을 능가하며, EMD 기반 히스토GRAM 유사도를 명시적으로 최적화함으로써 성능을 향상시킨다.

ABSTRACT

Dictionary plays an important role in multi-instance data representation. It maps bags of instances to histograms. Earth mover's distance (EMD) is the most effective histogram distance metric for the application of multi-instance retrieval. However, up to now, there is no existing multi-instance dictionary learning methods designed for EMD based histogram comparison. To fill this gap, we develop the first EMD-optimal dictionary learning method using stochastic optimization method. In the stochastic learning framework, we have one triplet of bags, including one basic bag, one positive bag, and one negative bag. These bags are mapped to histograms using a multi-instance dictionary. We argue that the EMD between the basic histogram and the positive histogram should be smaller than that between the basic histogram and the negative histogram. Base on this condition, we design a hinge loss. By minimizing this hinge loss and some regularization terms of the dictionary, we update the dictionary instances. The experiments over multi-instance retrieval applications shows its effectiveness when compared to other dictionary learning methods over the problems of medical image retrieval and natural language relation classification.

연구 동기 및 목표

• 지구이동거리(EMD) 기반 히스토GRAM 비교에 특별히 최적화된 다중 인스턴스 딕셔너리 학습 방법의 부재를 해결하기 위해.
• 대규모 다중 인스턴스 학습에서 배치 최적화의 비효율성을 해결하기 위해 확률적 학습 프레임워크를 채택하기 위해.
• 기본 백과 그에 해당하는 양성 백 간의 EMD가 음성 백과의 EMD보다 여유 간격을 확보하여 더 작게 유지되도록 하는 학습 목표를 설계하기 위해.
• EMD 기반 유사도 지표에 직접적으로 딕셔너리 학습을 정렬하여 다중 인스턴스 응용 분야의 검색 성능을 향상시키기 위해.

제안 방법

• 삼중항 기반 학습 프레임워크를 사용: 하나의 기본 백, 하나의 양성 백(동일한 클래스), 하나의 음성 백(다른 클래스).
• 각 백을 다중 인스턴스 딕셔너리를 사용하여 히스토GRAM으로 매핑하며, 히스토GRAM 값은 인스턴스-딕셔너리 유사도에서 유도된다.
• 기본 백과 음성 백 간의 EMD가 양성 백과의 EMD보다 여유 간격을 확보하지 못하는 경우를 방지하기 위해 허프 기반 손실을 정의한다.
• 확률적 경사 하강법를 통해 허프 기반 손실과 딕셔너리 인스턴스에 대한 ℓ₂ 정규화 항의 합을 최소화함으로써 딕셔너리를 최적화한다.
• EMD의 선형성(히스토GRAM 백분위수의 가중합으로서의 표현)을 활용하여 최적화 과정에서 효율적인 기울기 계산을 가능하게 한다.
• 하나의 백 삼중항씩 처리하는 방식으로 확률적 최적화를 적용하여 대규모 데이터셋에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 분류 오차가 아닌 EMD 기반 히스토GRAM 비교에 특화된 다중 인스턴스 딕셔너리 학습이 가능할 수 있는가?
• RQ2 대규모 다중 인스턴스 검색에 대해 확률적 최적화 프레임워크가 학습 효율성을 향상시키는가?
• RQ3 EMD 거리에 기반한 여유 간격 허프 기반 손실이 기존의 딕셔너리 학습 방법보다 검색 성능을 향상시키는가?
• RQ4 EMD 최적의 딕셔너리 학습이 의료 영상 및 자연어 처리와 같은 다양한 도메인에 일반화되는가?

주요 결과

• DDS-M 의료 영상 검색 데이터셋에서 SD-EMD는 MMD, DTD, MILES, MILIS와 비교해 유의미하게 뛰어난 성능을 보였다. 재현율-정밀도 곡선과 ROC 곡선 모두에서 슈퍼리어한 성능을 보였다.
• SemEval-2010 Task 8 자연어 관계 분류 데이터셋에서 SD-EMD는 다시 한번 최고의 성능을 기록하여, 시각 작업을 넘어선 일반화 능력을 입증했다.
• SD-EMD의 재현율-정밀도 곡선은 모든 기준선보다 항상 오른쪽 상단에 더 가까이 위치해 있어, 더 우수한 정밀도-재현율 균형을 나타낸다.
• SD-EMD의 ROC 곡선은 모든 다른 방법보다 왼쪽 상단에 더 가까이 위치해 있어, 음성 백과 양성 백을 구분하는 데 있어 뛰어난 분류 능력을 확인한다.
• 성능 향상의 원인은 기존의 딕셔너리 학습 방법에서 고려되지 않는 EMD 기반 유사도를 직접 최적화했기 때문이다.
• 확률적 최적화 덕분에 대규모 데이터셋에서도 효율적인 학습이 가능해졌으며, 배치 처리의 계산 부담을 피할 수 있었다.