[논문 리뷰] Structured Output Learning with Conditional Generative Flows

You Lü, Bert Huang|arXiv (Cornell University)|2019. 05. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 6

한 줄 요약

이 논문은 구조적 예측 작업을 위한 조건부 가능도 $p(y|x)$를 정확하고 효율적으로 계산할 수 있도록 하는 정규화 흐름 기반 모델인 조건부 글로우(c-Glow)를 제안한다. 입력 조건에 따라 변하는 결합층을 갖춘 역행성 흐름을 활용함으로써, c-Glow는 사전 목표나 변분 추론에 의존하지 않고 최대우도 기반으로 엔드 투 엔드 학습을 수행하며, 이미지 세분화, 노이즈 제거, 인painting을 포함한 다섯 가지 다양한 구조적 예측 작업에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Traditional structured prediction models try to learn the conditional likelihood, i.e., p(y|x), to capture the relationship between the structured output y and the input features x. For many models, computing the likelihood is intractable. These models are therefore hard to train, requiring the use of surrogate objectives or variational inference to approximate likelihood. In this paper, we propose conditional Glow (c-Glow), a conditional generative flow for structured output learning. C-Glow benefits from the ability of flow-based models to compute p(y|x) exactly and efficiently. Learning with c-Glow does not require a surrogate objective or performing inference during training. Once trained, we can directly and efficiently generate conditional samples. We develop a sample-based prediction method, which can use this advantage to do efficient and effective inference. In our experiments, we test c-Glow on five different tasks. C-Glow outperforms the state-of-the-art baselines in some tasks and predicts comparable outputs in the other tasks. The results show that c-Glow is versatile and is applicable to many different structured prediction problems.

연구 동기 및 목표

• 구조적 예측 모델에서의 불가능한 가능도 계산 문제를 해결함으로써 효과적인 학습과 추론을 가능하게 하기 위해.
• 사전 목표나 근사 추론에 의존하지 않고 $p(y|x)$의 정확하고 효율적이며 미분 가능한 계산을 가능하게 하는 조건부 생성 모델을 개발하기 위해.
• 학습 후 진정한 조건부 분포 $p(y|x)$에서 직접적이고 효율적인 샘플링을 가능하게 하여 다양한 고품질 예측을 지원하기 위해.
• 이산적이고 연속적인 출력을 모두 포함한 다양한 구조적 예측 작업에서 제안된 모델의 유연성과 성능을 평가하기 위해.

제안 방법

• c-Glow는 입력 조건에 따라 변하는 결합층을 도입함으로써 글로우 정규화 흐름 아키텍처를 확장하여, 변환 과정이 입력 특징 $x$에 의존하도록 한다.
• 모델는 입력 조건에 기반해 결합 매개변수를 생성하는 조건자 네트워크를 사용하는 역행성이고 아루레그레시브 스타일의 결합층을 사용하며, 변화변수 공식을 통해 정확한 가능도 계산을 가능하게 한다.
• 로그 가능도 $\log p(y|x)$는 역행성 변환의 자코비안 행렬식을 사용하여 정확히 계산되며, 이로 인해 직접적인 최대우도 학습이 가능하다.
• 추론 중에 학습된 분포에서 다양한 조건부 샘플을 효율적으로 생성하기 위해 샘플 기반 예측 방법이 개발되었다.
• 잠재 공간 차원과 조건자 네트워크의 너비 및 깊이 조정을 통해 각 작업에 맞게 아키텍처를 적응시키며, 작업 간 일관된 프레임워크를 유지한다.
• 모델는 입력에 주어진 구조적 출력의 정확한 로그 가능도를 최대화하도록 확률적 경사 하강법을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 고차원 출력을 갖는 구조적 예측 작업에 대해 정확한 조건부 가능도 계산을 가능하게 함으로써, 흐름 기반 모델을 효과적으로 적응시킬 수 있는가?
• RQ2 정규화 흐름을 통한 정확한 가능도 기반 학습이, 사전 목표나 변분 추론 기반 방법보다 성능이 뛰어나거나 경쟁 가능한가?
• RQ3 반복적 추론 절차 없이 c-Glow가 다양한 고품질의 조건부 샘플을 효율적으로 생성할 수 있는가?
• RQ4 이산적이고 연속적인 출력 유형을 모두 갖는 다양한 구조적 예측 작업에서 c-Glow는 어떻게 성능을 발휘하는가?

주요 결과

• 깊이 보정 작업에서 c-Glow는 PSNR 36.53을 기록하여 ProximalNet(36.31)을 약간 앞서고, 필터 기반 기준보다는 뚜렷이 뛰어난 성능을 보였다.
• 이미지 인페인팅 작업에서 c-Glow는 PSNR 24.88을 기록하여 DCGAN 인페인팅(23.65)과 DCGAN + 포isson 블렌딩(22.73)을 모두 능가했다.
• 이진 및 다중 클래스 세분화 작업에서 c-Glow는 DVN과 NLStruct와 같은 최신 딥 구조적 예측 모델의 성능을 따라하거나 초월했다.
• c-Glow는 단일 아키텍처를 사용하고 최소한의 하이퍼파rameter 튜닝으로도 세분화, 노이즈 제거, 인페인팅을 포함한 다섯 가지의 다른 작업에서 강력한 일반화 능력을 보였다.
• BM3D와 DnCNN에 비해 노이즈 제거 작업에서 약간 낮은 PSNR를 기록했지만, 특히 인페인팅 시 얼굴 특징를 더 잘 유지하는 구조적 정확도가 뛰어났다.
• 학습된 분포에서 직접적으로 다양한 고품질 샘플을 생성할 수 있는 능력은 CRF나 에너지 기반 모델의 반복적 추론 방법에 비해 뚜렷한 이점을 보여준다.