[논문 리뷰] Submodular meets Structured: Finding Diverse Subsets in Exponentially-Large Structured Item Sets

Adarsh Prasad, Stefanie Jegelka외 1명|arXiv (Cornell University)|2014. 11. 06.

Topic Modeling참고 문헌 24인용 수 30

한 줄 요약

이 논문은 시각 및 자연어 처리에서 흔히 발생하는 지수적으로 큰 구조적 출력 공간에서 다양하고 고급도의 부분집합을 효율적으로 찾는 새로운 프레임워크를 제안한다. 이는 경계 기여도가 구조적 표현을 갖는 하위모듈 함수를 활용하여 이루어지며, 고차원 퍼텐셜(High-Order Potentials, HOPs)을 갖는 인과 그래프에서 최적 해 추론(MAP inference)으로 그릴리 하위모듈 최대화를 감소시켜, 선형 시간 이하의 계산을 가능하게 하고, 이전 방법들보다 훨씬 높은 오라클 정확도를 달성한다.

ABSTRACT

To cope with the high level of ambiguity faced in domains such as Computer Vision or Natural Language processing, robust prediction methods often search for a diverse set of high-quality candidate solutions or proposals. In structured prediction problems, this becomes a daunting task, as the solution space (image labelings, sentence parses, etc.) is exponentially large. We study greedy algorithms for finding a diverse subset of solutions in structured-output spaces by drawing new connections between submodular functions over combinatorial item sets and High-Order Potentials (HOPs) studied for graphical models. Specifically, we show via examples that when marginal gains of submodular diversity functions allow structured representations, this enables efficient (sub-linear time) approximate maximization by reducing the greedy augmentation step to inference in a factor graph with appropriately constructed HOPs. We discuss benefits, tradeoffs, and show that our constructions lead to significantly better proposals.

연구 동기 및 목표

• 시각 및 자연어 처리에서 흔히 발생하는 지수적으로 큰 해 공간에서 다양하고 높은 점수를 받는 구조적 출력을 찾는 문제에 대응하기 위해.
• 지수 크기의 조합적 아이템 집합 위에서 단조 증가 하위모듈 다양성 함수의 효율적 그릴리 최대화를 가능하게 하기 위해.
• 고차원 퍼텐셜(HOPs)을 통한 하위모듈 최적화와 구조적 추론 간의 연결을 수립하기 위해.
• 그릴리 증강을 HOP를 갖는 인과 그래프에서 효율적인 최적 해 추론으로 감소시키는 일반화 가능한 방법을 개발하기 위해.
• 기존 방법들에 비해 더 높은 오라클 정확도를 보이는 다양한 이미지 세그멘테이션을 생성하는 데 있어 실증적으로 뛰어난 성능을 입증하기 위해.

제안 방법

• 이 방법은 경계 기여도가 인과 그래프 내에서 구조적 HOP로 표현될 수 있는 단조 증가 하위모듈 함수를 사용하여 다양성을 모델링한다.
• 그릴리 증강 단계를 다양성 함수를 인코딩하는 HOP가 추가된 인과 그래프에서의 최적 해 추론 쿼리로 감소시킨다.
• 세 가지 정의에 대해 구체적인 다양성 함수를 구성한다: 히프만 볼, DivMBest, 레이블 비용/전이, 각각에 해당하는 HOP로 매핑한다.
• 기존에 효율적인 추론 알고리즘을 활용하여, 기저 집합의 크기와 선형 시간 이하의 시간 복잡도를 달성한다.
• 모든 효율적으로 해결 가능한 HOP를 갖는 새로운 하위모듈 다양성 함수를 쉽게 통합할 수 있는 일반적인 조리법을 제공한다.
• 근사 추론을 지원하며, 오차 가정 하에 근사 품질에 대한 이론적 경계를 제공한다.

실험 결과

연구 질문

• RQ1 하위모듈 다양성 함수를 설계할 수 있는가? 이는 경계 기여도가 효율적인 추론을 가능하게 하는 구조적 표현을 갖는다.
• RQ2 지수적으로 큰 구조적 집합 위에서 이러한 하위모듈 함수의 그릴리 최대화를 HOP를 사용한 최적 해 추론으로 감소시킬 수 있는가?
• RQ3 제안된 방법의 성능은 랜덤 샘플링 및 기타 다양성 방법에 비해 오라클 정확도 측면에서 어떻게 비교되는가?
• RQ4 그릴리 알고리즘에서 HOP에 대해 근사 추론을 사용할 경우 이론적 근사 보장은 무엇인가?
• RQ5 제시된 구체적 예시 외의 다른 다양성 정의 및 HOP 클래스에 대해 이 프레임워크를 일반화할 수 있는가?

주요 결과

• 제안된 방법은 이전 방법들에 비해 훨씬 높은 오라클 정확도를 달성하며, 히프만 볼 다양성은 대부분의 경우 DivMBest 및 레이블 비용/전이 다양성보다 뛰어난 성능을 보였다.
• 결합된 다양성 방법(예: 다목적)은 DivMBest를 포함한 단일 다양성 전략보다 항상 뛰어난 성능을 보였다.
• 레이블 전이 다양성은 평균적으로 성능이 열악했지만, 희귀하거나 혼동스러운 레이블 조합(예: 개-고양이)이 포함된 어려운 케이스에서는 더 나은 세그멘테이션을 찾는 데 뛰어난 성능을 보였다.
• 알고리즘이 기저 집합의 크기와 선형 시간 이하로 확장 가능하여 지수적으로 큰 구조적 출력 공간에서도 적용 가능하다.
• 이론적 분석 결과, 근사 추론은 제한된 근사 손실을 초래하며, 특정 조건 하에 상대 오차 경계가 $ (1 - rac{1}{e^eta}) $ 로 제한됨을 보였다.
• 실증 결과는 이론적 보장이 없더라도 특히 히프만 볼 다양성의 경우 강력한 실용적 성능을 보임을 확인했다.