[논문 리뷰] Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond

Đ. Khuê Lê-Huu, Karteek Alahari|arXiv (Cornell University)|2021. 10. 27.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 밀도 높은 조건부 랜드마르크 필드(CRFs)를 위한 새로운 추론 및 학습 알고리즘인 정규화된 프랭크-울프를 제안한다. 이 알고리즘은 비볼록 연속적 근사화된 CRF 에너지를 최적화함으로써 평균 장 및 오목-볼록 절차를 일반화한다. 이 방법은 상태의 최고 성능을 달성하며, PASCAL VOC에서 평균 IoU가 88.0을 기록하여, 백프로퍼게이션을 통해 훈련 가능한 레이어로 사용될 때, 평균 장 추론 및 DeepLabv3+와 같은 강력한 CNN 기반 모델을 능가한다.

ABSTRACT

We introduce regularized Frank-Wolfe, a general and effective algorithm for inference and learning of dense conditional random fields (CRFs). The algorithm optimizes a nonconvex continuous relaxation of the CRF inference problem using vanilla Frank-Wolfe with approximate updates, which are equivalent to minimizing a regularized energy function. Our proposed method is a generalization of existing algorithms such as mean field or concave-convex procedure. This perspective not only offers a unified analysis of these algorithms, but also allows an easy way of exploring different variants that potentially yield better performance. We illustrate this in our empirical results on standard semantic segmentation datasets, where several instantiations of our regularized Frank-Wolfe outperform mean field inference, both as a standalone component and as an end-to-end trainable layer in a neural network. We also show that dense CRFs, coupled with our new algorithms, produce significant improvements over strong CNN baselines.

연구 동기 및 목표

• 강력한 CNN 모델의 발전으로 인해 현대적 세분화 작업에서 밀도 높은 CRF의 성능 저하 문제를 해결하기 위해, 더 효과적인 추론 및 학습 알고리즘을 개발한다.
• 기존의 추론 방법들인 평균 장 및 오목-볼록 절차를 하나의 최적화 프레임워크로 통합한다.
• 백프로퍼게이션을 통한 종단간 훈련에 적합한, 미분 가능하고 빠르게 수렴하는 CRF 추론을 가능하게 한다.
• 제안된 알고리즘을 사용할 경우, 밀도 높은 CRF가 강력한 CNN 기반 모델을 상당히 능가할 수 있음을 입증한다.

제안 방법

• CRF 추론의 비볼록 연속적 근사화에 대해 조건부 기울기 방법의 일반화로서 정규화된 프랭크-울프를 제안한다.
• 근사 조건부 기울기 업데이트를 사용하여, 정규화된 에너지 함수의 최소화와 동치가 되며, 이로써 반복값의 미분 가능성을 보장한다.
• 이진 제약 조건을 레이블 할당에 대한 확률 단체 제약 조건으로 대체함으로써 이산 MAP 추론 문제의 연속적 근사화를 도입한다.
• 단일 및 이원 잠재 변수 매트릭스를 사용한 블록-구조 에너지 표현을 활용하며, 전체 에너지는 이차형식으로 표현된다.
• 수렴 속도가 O(1/√k)인 하한 수렴율을 보장하는 스텝 사이즈 기법을 적용하며, 강한 볼록성 또는 오목 에너지 조건이 성립할 경우 O(1/k)로 향상된다.
• 반복값의 (부분)미분 가능성을 유지하도록 알고리즘을 설계하여, 경량 기반 학습 및 신경망 내 CRF 레이어를 통한 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 평균 장 및 오목-볼록 절차와 같은 기존의 CRF 추론 방법들을 하나의 최적화 프레임워크로 일반화할 수 있는가?
• RQ2 정규화된 프랭크-울프가 밀도 높은 CRF 추론에서 평균 장보다 더 빠른 수렴 속도와 뛰어난 성능을 달성하는가?
• RQ3 제안된 알고리즘이 신경망 내에서 미분 가능하고 훈련 가능한 레이어로 효과적으로 사용될 수 있는가?
• RQ4 새로운 추론 방법을 사용하는 밀도 높은 CRF가 DeepLabv3+와 같은 강력한 CNN 기반 모델을 얼마나 뛰어나게 개선할 수 있는가?
• RQ5 정규화 파rameter와 반복 횟수의 변화에 따라 정규화된 프랭크-울프의 성능은 어떻게 변하는가?

주요 결과

• 제안된 정규화된 프랭크-울프 방법은 PASCAL VOC 테스트 세트에서 평균 교차율(mIoU) 점수 88.0을 기록하여, DeepLabv3+ CNN 기반 모델을 능가한다.
• ℓ2FW 및 eFW를 포함한 정규화된 프랭크-울프의 여러 구현 사례가, 독립형 및 종단간 훈련 환경 모두에서 평균 장 추론보다 뛰어난 성능을 보였다.
• 실제로 알고리즘은 매우 빠른 수렴을 보이며, 20회의 반복 이내에 에너지가 크게 감소하는 경향을 보였고, 초기 반복 단계에서 PGD, PGM, ADMM보다 뛰어난 성능을 보였다.
• 알고리즘은 반복값의 (부분)미분 가능성을 유지하여, 신경망 내 CRF 레이어에서 효과적인 역전파와 종단간 훈련을 가능하게 했다.
• 실험 결과에 따르면, 정규화된 프랭크-울프를 사용하는 밀도 높은 CRF는 PASCAL VOC 및 Cityscapes를 포함한 여러 데이터셋에서 일관된 성능 향상을 보였다.
• 이론적으로 알고리즘의 수렴 속도는 O(1/√k)이며, 강한 볼록 정규화나 오목 에너지 함수 조건이 성립할 경우 O(1/k)로 향상된다.