[논문 리뷰] Structured Prediction using cGANs with Fusion Discriminator

Faisal Mahmood, Wenhao Xu외 3명|arXiv (Cornell University)|2019. 03. 27.

Image Processing Techniques and Applications인용 수 2

한 줄 요약

이 논문은 이미지 합성, 세분할, 깊이 추정과 같은 구조적 예측 작업을 향상시키기 위해 단일 유연한 판별자로 고차원 일致성을 강제하는 통합 조건부 GAN 프레임워크인 융합 판별자(fusion discriminator)를 소개한다. 이 방법은 특정 잠재 함수에 제한되지 않고 다양한 작업에서 기존 방법들을 능가한다.

ABSTRACT

We propose the fusion discriminator, a single unified framework for incorporating conditional information into a generative adversarial network (GAN) for a variety of distinct structured prediction tasks, including image synthesis, semantic segmentation, and depth estimation. Much like commonly used convolutional neural network -- conditional Markov random field (CNN-CRF) models, the proposed method is able to enforce higher-order consistency in the model, but without being limited to a very specific class of potentials. The method is conceptually simple and flexible, and our experimental results demonstrate improvement on several diverse structured prediction tasks.

연구 동기 및 목표

• 깊이 생성 모델을 사용한 구조적 예측 작업에서 고차원 일치성을 강제하는 도전 과제를 해결하기 위해.
• 특정 잠재 함수를 초월해 다양한 구조적 예측 작업에 일반화되는 민첩하고 통합된 프레임워크를 개발하기 위해.
• 구조적 일관성 향상을 통해 이미지 합성, 세분할, 깊이 추정 분야에서 성능을 향상시키기 위해 조건부 GAN을 활용하기 위해.
• 기존 CNN-CRF 모델을 대체하거나 능가하기 위해 조건부 모델링을 GAN 학습 과정에 직접 통합하기 위해.

제안 방법

• 융합 판별자는 조건 정보를 GAN 프레임워크에 직접 통합하여 생성자와 판별자를 구조적 출력과 함께 동시 최적화할 수 있도록 한다.
• 실제 및 생성된 샘플과 그에 해당하는 조건을 모두 처리하는 통합 판별자를 사용하여 공간적 구조 간의 일致성을 강제한다.
• 예측된 잠재 함수에 의존하지 않고, 적대적 학습을 통해 구조적 의존성을 종단 간(end-to-end)으로 학습함으로써 이를 회피한다.
• 조건 정보는 판별자의 다수 수준에서 융합되어, 구조적 출력 내 복잡한 고차원 의존성을 포착할 수 있도록 한다.
• 모듈러 구조로 설계되어 아키텍처의 대대적인 수정 없이 다양한 구조적 예측 작업에 적용 가능하다.
• 표준 GAN 목표에 따라 학습이 진행되며, 융합 판별자가 생성된 출력이 현실적이면서도 구조적으로 일관되도록 보장한다.

실험 결과

연구 질문

• RQ1 통합 GAN 프레임워크는 다양한 구조적 예측 작업에서 고차원 일치성을 효과적으로 강제할 수 있는가?
• RQ2 융합 판별자는 전통적인 CNN-CRF 모델과 성능 및 유연성 측면에서 어떻게 비교되는가?
• RQ3 융합 판별자는 이미지 합성, 세분할, 깊이 추정과 같은 다양한 구조적 예측 작업으로 얼마나 잘 일반화되는가?
• RQ4 제안된 방법은 기존의 조건부 GAN이 구조적 예측 벤치마크에서 승리하는가?

주요 결과

• 융합 판별자는 이미지 합성, 세분할, 깊이 추정을 포함한 다수의 구조적 예측 작업에서 향상된 성능을 달성한다.
• 이 방법은 특정 잠재 함수에 제약을 받지 않으면서도 CNN-CRF 모델과 유사한 고차원 일치성을 보여준다.
• 프레임워크는 민첩하고 일반화 가능하여 아키텍처 변경 최소화로 다양한 구조적 예측 작업에 직접 적용할 수 있다.
• 실험 결과는 베이스라인 조건부 GAN보다 일관된 향상과 CNN-CRF 모델과 경쟁 가능한 성능을 보였다.