[논문 리뷰] Structured learning of sum-of-submodular higher order energy functions

Alexander Fix, Thorsten Joachims외 2명|arXiv (Cornell University)|2013. 09. 28.

Advanced Neural Network Applications참고 문헌 28인용 수 6

한 줄 요약

이 논문은 컴퓨터 시각 분야에서 합의 하위모듈(SoS) 고차원 에너지 함수를 위한 최초의 판별적 학습 프레임워크를 소개한다. 구조적 서포트 벡터 머신(Structural SVMs)과 확장된 커팅 플레인 알고리즘을 사용하여 큰 매개변수 공간에서 효율적으로 최적화한다. 이 방법은 학습 데이터로부터 복잡하고 표현력 있는 사전 지식을 학습하여, GrabCut과 같은 수작업으로 조정된 기준보다 유의미하게 높은 분할 성능을 달성하며, 표준 데이터셋에서 평균 오차율 7.3%를 기록한다.

ABSTRACT

Submodular functions can be exactly minimized in polynomial time, and the special case that graph cuts solve with max flow \cite{KZ:PAMI04} has had significant impact in computer vision \cite{BVZ:PAMI01,Kwatra:SIGGRAPH03,Rother:GrabCut04}. In this paper we address the important class of sum-of-submodular (SoS) functions \cite{Arora:ECCV12,Kolmogorov:DAM12}, which can be efficiently minimized via a variant of max flow called submodular flow \cite{Edmonds:ADM77}. SoS functions can naturally express higher order priors involving, e.g., local image patches; however, it is difficult to fully exploit their expressive power because they have so many parameters. Rather than trying to formulate existing higher order priors as an SoS function, we take a discriminative learning approach, effectively searching the space of SoS functions for a higher order prior that performs well on our training set. We adopt a structural SVM approach \cite{Joachims/etal/09a,Tsochantaridis/etal/04} and formulate the training problem in terms of quadratic programming; as a result we can efficiently search the space of SoS priors via an extended cutting-plane algorithm. We also show how the state-of-the-art max flow method for vision problems \cite{Goldberg:ESA11} can be modified to efficiently solve the submodular flow problem. Experimental comparisons are made against the OpenCV implementation of the GrabCut interactive segmentation technique \cite{Rother:GrabCut04}, which uses hand-tuned parameters instead of machine learning. On a standard dataset \cite{Gulshan:CVPR10} our method learns higher order priors with hundreds of parameter values, and produces significantly better segmentations. While our focus is on binary labeling problems, we show that our techniques can be naturally generalized to handle more than two labels.

연구 동기 및 목표

• 이차 상관관계를 넘어서는 고차원 사전 지식을 학습하는 데 도전하는 문제를 해결하기 위해.
• 하위모듈 흐름을 통해 최소화 가능한데도 매우 많은 매개변수를 가진 합의 하위모듈(소스) 함수를 위한 효율적인 학습 방법을 개발하기 위해.
• 수작업 조정이 아닌 학습 데이터로부터 최적의 사전 지식을 자동으로 발견할 수 있도록 판별적 학습을 SoS 함수에 적용하기 위해.
• 이를 다중 레이블 분할으로 일반화하고 실제 비전 데이터셋에서의 효과성을 입증하기 위해.

제안 방법

• 이중 계획법을 사용하여 SoS 에너지 함수의 대량 마진 학습이 가능한 구조적 서포트 벡터 머신으로 학습 문제를 수립한다.
• 학습 중 SoS 함수의 공간을 효율적으로 탐색하기 위해 확장된 커팅 플레인 알고리즘을 사용한다.
• 학습된 SoS 에너지 함수를 최소화하기 위한 추론 엔진으로 하위모듈 흐름(최대 유량의 변종)을 활용한다.
• 단일 항과 고차원 클리크 잠재변수를 통합된 학습 프레임워크에 통합하여 모든 매개변수의 동시 최적화를 가능하게 한다.
• 2×2 이미지 패치의 기울기 반응에 k-means 클러스터링을 적용하여 고차원 사전 지식을 위한 하위모듈 클리크 함수를 정의한다.
• 실제로 하위모듈 흐름 문제를 효율적으로 해결하기 위해 최신의 IBFS 기반 최대 유량 알고리즘을 적응시킨다.

실험 결과

연구 질문

• RQ1 구조적 예측의 비전 분야에서 합의 하위모듈(SoS) 고차원 에너지 함수에 판별적 학습을 효과적으로 적용할 수 있는가?
• RQ2 데이터로부터 학습한 SoS 사전 지식이 GrabCut과 같은 수작업 조정된 고정 잠재변수 모델보다 이미지 분할에서 더 우수한 성능을 내는가?
• RQ3 학습과 추론이 실현 가능할 정도로 유지되면서, SoS 함수의 큰 매개변수 공간을 효율적으로 처리할 수 있는가?
• RQ4 이 프레임워크는 이진 레이블링을 넘어서 다중 레이블 분할 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 S3SVM 방법은 테스트 세트에서 평균 픽셀 오차율 7.3%를 달성하여 OpenCV GrabCut 기준보다 유의미하게 높은 성능을 보였다.
• S3SVM-AMN은 이중 잠재변수만을 사용하는 특수 케이스로, 오차율을 7.5%로 감소시켜 수작업 조정 대비 학습의 이점을 입증했다.
• 전체 S3SVM 모델의 학습 시간은 92,000초였고, 이미지당 추론 시간은 1.67초로, 확장성과의 가능성을 보였다.
• 이 방법은 약 400개의 단일 항 특징 가중치와 2×2 패치당 약 50개의 하위모듈 클리크 잠재변수를 학습하여 풍부하고 데이터 기반의 사전 지식을 가능하게 했다.
• 시각적 결과에서는 특히 복잡한 무늬와 경계에서 기준보다 더 깔끔하고 잡음이 적은 분할 결과를 보였다.
• 7클래스 데이터셋에서의 초기 다중 레이블 분할 결과는 이 방법이 이진 레이블링을 넘어서 일반화 가능함을 입증했다.