[논문 리뷰] Block Stability for MAP Inference

Hunter Lang, David Sontag외 1명|arXiv (Cornell University)|2018. 10. 12.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 마르코프 무작위 필드(Markov Random Fields)에서 MAP 추론을 위한 릴랙스된 조건인 블록 안정성(block stability)을 도입한다. 이는 쌍별 선형계획법(LP) 근사가 안정 블록에서 지속성(persistence)을 보임을 보여주며, 컴퓨터 시각 데이터셋에서의 실험 결과로 큰 안정 블록이 존재함을 확인한다. 이는 이론적으로 NP-난이도임에도 불구하고 LP 근사가 널리 사용되는 이유를 설명한다.

ABSTRACT

To understand the empirical success of approximate MAP inference, recent work (Lang et al., 2018) has shown that some popular approximation algorithms perform very well when the input instance is stable. The simplest stability condition assumes that the MAP solution does not change at all when some of the pairwise potentials are (adversarially) perturbed. Unfortunately, this strong condition does not seem to be satisfied in practice. In this paper, we introduce a significantly more relaxed condition that only requires blocks (portions) of an input instance to be stable. Under this block stability condition, we prove that the pairwise LP relaxation is persistent on the stable blocks. We complement our theoretical results with an empirical evaluation of real-world MAP inference instances from computer vision. We design an algorithm to find stable blocks, and find that these real instances have large stable regions. Our work gives a theoretical explanation for the widespread empirical phenomenon of persistency for this LP relaxation.

연구 동기 및 목표

• 이론적으로 악한 경우의 복잡도 상한이 존재함에도 불구하고, 쌍별 LP 근사가 종종 정확한 MAP 해와 거의 동일한 해를 반환하는 현상인 경험적 지속성(empirical persistency)을 설명하기 위함.
• 이전 연구에서 제안된 강한 안정성 조건을 완화하기 위해, 전체 인스턴스가 안정되어야 하는 대신 일부 부분(블록)만 안정되어야 하는 블록 안정성(block stability)을 도입함.
• 실세계 인스턴스에서 안정 블록을 탐지할 수 있는 알고리즘을 개발하고, 그 존재성과 크기를 검증함.
• 실제 구조적 예측 작업에서 LP 근사가 성공하는 데 이르는 이론적 근거를 제공함.

제안 방법

• 기존의 (전역적) 안정성의 일반화로 블록 안정성을 제안함. 이는 MRF의 특정 블록 내에서의 변형에 대해 최적 해가 변하지 않는 것을 요구함.
• 블록 안정성 조건 하에서, 쌍별 LP 근사가 해당 안정 블록에서 지속적임을 증명함. 즉, LP 해가 그 블록 내에서 정확한 MAP 해와 일치함.
• 편미분 분석을 이용해 안정된 부분 구조를 반복적으로 식별하고 검증함으로써, 안정 블록을 탐지하는 알고리즘 2를 설계함.
• 실세계 스테레오 시각 및 객체 세그멘테이션 데이터셋에 이 알고리즘을 적용하여 블록 안정성과 지속성의 경험적 평가를 수행함.
• 단일 노드 블록으로의 자명한 분해를 피하고 더 큰, 의미 있는 안정 영역을 선호하기 위해 알고리즘에 복구 전략(reclaiming strategy)을 도입함.
• 기존의 안정성 및 LP 근사 이론 결과를 활용하여, 이를 블록 수준의 보장을 갖도록 확장함.

실험 결과

연구 질문

• RQ1 경험적으로 높은 지속성을 보이는 쌍별 LP 근사의 현상을 설명할 수 있는 릴랙스된 안정성 조건은 존재하는가?
• RQ2 실제 컴퓨터 시각 데이터셋(예: 스테레오 시각, 객체 세그멘테이션)에서 큰 안정 블록이 존재하는가?
• RQ3 대규모 MRF에서 현실적인 계산 제약 조건을 고려할 때, 안정 블록을 효율적으로 탐지할 수 있는가?
• RQ4 전역 안정성 또는 기타 구조적 가정보다, 블록 안정성이 지속성에 대해 더 강력한 이론적 기반을 제공하는가?
• RQ5 Potts 모델을 초월한 다른 MRF 퍼텐셜에 대해서도 블록 안정성 프레임워크를 확장할 수 있는가?

주요 결과

• 제안된 블록 안정성 조건 하에서, 쌍별 LP 근사는 안정 블록에서 지속적이며, 이는 경험적으로 높은 지속성 현상에 대한 이론적 설명을 제공한다.
• 스테레오 시각 및 객체 세그멘테이션 데이터셋에 대한 경험적 평가 결과, 이미지의 의미적 객체와 일치하는 큰 안정 블록이 존재함을 확인하였다.
• 스테레오 시각 인스턴스에서는 변수의 98–99%에서 LP 해가 정확한 MAP 해와 일치하며, 이는 주로 안정 블록 덕분이다.
• 알고리즘이 크기가 1을 초과하는 안정 블록을 탐지함으로써, 자명한 노드 수준의 안정성 외에 비자명한 구조적 안정성이 존재함을 시사한다.
• 일부 인스턴스에서 |S| = 1 인 안정 블록이 다수 존재하는 것은 안정성이 부족하기 때문이 아니라, 알고리즘의 복구 전략에 기인함을 밝혀냈다.
• 블록 안정성은 일반적인 프레임워크이다. 다른 퍼텐셜에 대해 (β,γ)-안정성 결과가 성립한다면, 동일한 지속성 보장이 그 경우에도 적용된다.