[논문 리뷰] Image Segmentation by Iterative Inference from Conditional Score Estimation

Adriana Romero, Michal Drozdzal외 3명|arXiv (Cornell University)|2017. 05. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 11

한 줄 요약

이 논문은 조건부 노이즈 제거 autoencoder를 사용하여 이미지의 픽셀 레이블 조건부 분포의 스코어(로그 밀도의 기울기)를 추정하는 새로운 반복 추론 방법을 제안한다. 진짜 레이블이 아닌 피드포워드 네트워크의 예측을 노이즈 처리함으로써, 모델은 높은 확률 구성으로 향하는 기울기 상승을 통해 예측을 반복적으로 개선한다. 이는 CamVid 및 PASCAL-Context 벤치마크에서 CRF 기반 후처리 및 베이스라인 모델을 능가한다.

ABSTRACT

Inspired by the combination of feedforward and iterative computations in the virtual cortex, and taking advantage of the ability of denoising autoencoders to estimate the score of a joint distribution, we propose a novel approach to iterative inference for capturing and exploiting the complex joint distribution of output variables conditioned on some input variables. This approach is applied to image pixel-wise segmentation, with the estimated conditional score used to perform gradient ascent towards a mode of the estimated conditional distribution. This extends previous work on score estimation by denoising autoencoders to the case of a conditional distribution, with a novel use of a corrupted feedforward predictor replacing Gaussian corruption. An advantage of this approach over more classical ways to perform iterative inference for structured outputs, like conditional random fields (CRFs), is that it is not any more necessary to define an explicit energy function linking the output variables. To keep computations tractable, such energy function parametrizations are typically fairly constrained, involving only a few neighbors of each of the output variables in each clique. We experimentally find that the proposed iterative inference from conditional score estimation by conditional denoising autoencoders performs better than comparable models based on CRFs or those not using any explicit modeling of the conditional joint distribution of outputs.

연구 동기 및 목표

• 출력 변수의 복잡하고 다중모드인 조건부 분포를 잘 포괄하는 이미지 분할의 구조적 예측 방법을 개발하는 것.
• CRF에서 명시적인 에너지 함수 설계를 대체하기 위해 노이즈 제거 autoencoder를 통해 엔드 투 엔드로 학습된 스코어 추정을 도입하는 것.
• 추정된 조건부 스코어를 기반으로 기울기 상승을 이용해 반복적으로 예측을 개선함으로써 분할의 일관성과 정확도를 향상시키는 것.
• 스코어 기반 반복 추론에서 진짜 레이블 대신 피드포워드 예측을 노이즈 처리하는 것이 성능 향상에 기여하는지 조사하는 것.
• 분할 네트워크와의 엔드 투 엔드 훈련 없이도 벤치마크 데이터셋에서 최신 기술 수준의 성능을 보여주는 것.

제안 방법

• 조건부 노이즈 제거 autoencoder는 손상된 출력과 진짜 출력 간의 차이를 예측하도록 훈련되어, 조건부 분포 p(y|x)의 스코어(로그 밀도의 음의 기울기)를 근사한다.
• 모델은 손상된 분할 예측 y와 이미지 특징 h를 입력으로 받아, ∂log p(y|x)/∂y를 추정하는 벡터를 출력한다.
• 반복 추론은 예측된 스코어를 사용해 y에 대해 기울기 상승을 수행한다: y ← y + ε × (ŷ − y), 여기서 ε는 스텝 크기이다.
• 노이즈 처리는 진짜 레이블이 아닌 피드포워드 네트워크의 출력에 적용되어, 반복 과정의 초기 상태를 시뮬레이션한다.
• 이 방법은 사전 훈련된 피드포워드 분할 네트워크 이후에 후처리 단계로 적용되어 엔드 투 엔드 훈련을 피한다.
• 전통적인 CRF와 달리, 깊이 있는 합성곱 아키텍처를 활용해 국소 클리크를 초월한 장거리 의존성을 모델링한다.

실험 결과

연구 질문

• RQ1 조건부 노이즈 제거 autoencoder는 구조적 예측 작업에 대해 조건부 분포 p(y|x)의 스코어를 효과적으로 추정할 수 있는가?
• RQ2 분할을 위한 반복 추론에서 진짜 레이블 대신 피드포워드 예측을 노이즈 처리하는 것이 성능 향상에 기여하는가?
• RQ3 스코어 기반 반복 추론은 일관성 있고 높은 정확도를 갖는 분할을 생성하기 위해 CRF 기반 후처리를 능가할 수 있는가?
• RQ4 성능 향상은 다양한 백본 아키텍처와 데이터셋에 걸쳐 안정적인가?
• RQ5 분할 네트워크와의 엔드 투 엔드 훈련이 결과를 향상시키는가, 아니면 후처리만으로도 충분한가?

주요 결과

• 제안된 방법 DAE(y)는 FCN-8에서 DAE(y_true)보다 평균 IoU 기준 2.2% 향상되었으며, 모든 클래스에서 일관된 개선을 보였다.
• FC-DenseNet103에서는 DAE(y)가 여전히 DAE(y_true)를 능가하는 명확한 개선을 보였지만, FCN-8에 비해 격차는 더 작았다.
• 이 방법은 CRF가 복구하지 못하는 구조적 오류(예: 울타리와 같은 누락된 객체 추가)를 수정함으로써 분할 품질을 향상시켰다.
• CRF 후처리는 일부 클래스(예: 기둥 기둥)에서 성능을 떨어뜨리는 경우가 있었지만, 제안된 방법은 정확도를 유지하거나 향상시켰다.
• 스텝 크기와 반복 횟수에 대해 성능이 안정적이었으며, 다양한 하이퍼파rameter 범위에서 최적의 성능를 달성할 수 있었다.
• 분할 네트워크와의 엔드 투 엔드 훈련은 성능 향상에 기여하지 않았고, 메모리 소비가 더 컸으며, 이는 후처리가 충분하고 효율적임을 시사한다.