[논문 리뷰] SeGAN: Segmenting and Generating the Invisible

Kiana Ehsani, Roozbeh Mottaghi외 1명|arXiv (Cornell University)|2017. 03. 29.

Advanced Neural Network Applications참고 문헌 49인용 수 4

한 줄 요약

SeGAN은 합성된 사진처럼 생긴 훈련 데이터를 사용하여 가림된 물체의 은폐된 부분을 동시에 분할하고 생성하는 GAN 기반 모델을 제안한다. 이는 은폐 영역 분할, 현실적인 외관 생성, 가림 관계로부터 깊이 계층 추론에 있어 최신 기법들을 능가하며, 미세조정 없이 자연 이미지로도 효과적으로 일반화된다.

ABSTRACT

Objects often occlude each other in scenes; Inferring their appearance beyond their visible parts plays an important role in scene understanding, depth estimation, object interaction and manipulation. In this paper, we study the challenging problem of completing the appearance of occluded objects. Doing so requires knowing which pixels to paint (segmenting the invisible parts of objects) and what color to paint them (generating the invisible parts). Our proposed novel solution, SeGAN, jointly optimizes for both segmentation and generation of the invisible parts of objects. Our experimental results show that: (a) SeGAN can learn to generate the appearance of the occluded parts of objects; (b) SeGAN outperforms state-of-the-art segmentation baselines for the invisible parts of objects; (c) trained on synthetic photo realistic images, SeGAN can reliably segment natural images; (d) by reasoning about occluder occludee relations, our method can infer depth layering.

연구 동기 및 목표

• 물체가 부분적으로 가려진 상황에서 은폐된 부분의 외관과 분할을 추론하는 문제에 대응하기 위해.
• 은폐 영역의 분할과 그들의 현실적인 외관 생성을 동시에 최적화하여 별도의 분할 또는 생성 접근 방식의 한계를 극복하기 위해.
• 사람이 애너테이션한 은폐 영역 데이터의 주관성과 노이즈를 피하기 위해 정확한 가림 경계를 갖춘 대규모 정확한 합성 데이터에서 학습하기 위해.
• 사전에 알려지지 않은 물체 인스턴스에 대해 합성 훈련 데이터에서 실세계 자연 이미지로의 제로샷 일반화를 가능하게 하기 위해.
• 가림자-가리키는 대상 간 관계를 모델링하여, 명시적 깊이 감독 없이도 상대적 깊이 순서를 유도할 수 있도록 하기 위해.

제안 방법

• SeGAN은 조건부 GAN 프레임워크를 사용하며, 입력 이미지와 가시 마스크를 바탕으로 생성기가 은폐된 물체 부분의 분할 마스크와 외관을 예측한다.
• 모델은 이중 스트림 생성기 구조를 사용한다: 한 분기에서는 은폐된 분할 마스크(SI)를 예측하고, 다른 분기에서는 해당 영역의 픽셀 수준 외관을 생성한다.
• 판별기는 실제와 생성된 이미지-마스크 쌍을 구분하도록 훈련되어, 외관과 공간 일관성 양면에서 현실성을 강제한다.
• 훈련은 은폐 경계가 정확한 합성 사진처럼 생긴 장면에서만 수행되며, 은폐 영역에 대한 정밀한 감독을 가능하게 한다.
• 아키텍처는 카테고리에 종속되지 않으며, 의미적 카테고리 레이블이 필요로 하지 않으며, 대신 공간적 및 가림 추론에 의존한다.
• 깊이 계층은 잠재적인 가림자(occluder)의 가시 마스크와 예측된 은폐된 마스크(occludee) 간의 교차율(IoU)을 확인함으로써 유도되며, 임계값은 5%로 설정된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 은폐된 장면에서 은폐된 물체 부분의 분할과 외관을 동시에 학습할 수 있는가?
• RQ2 분할과 생성을 동시에 최적화하는 것이 별도 또는 순차적 접근보다 더 나은 성능을 내는가?
• RQ3 합성 데이터에서 훈련된 모델은 미세조정 없이도 실세계 자연 이미지로 일반화할 수 있는가?
• RQ4 명시적 깊이 감독 없이도 가림 패tern에서 깊이 계층을 추론할 수 있는가?
• RQ5 분할, 생성, 깊이 순서 정렬 측면에서 최신 기준 기준과 비교해 성능이 어떻게 되는가?

주요 결과

• SeGAN은 은폐된 영역 예측에서 최신 분할 기준 기준을 능가하며, 합성 데이터에서 SI IoU 58.9%를 달성한다.
• 자연 이미지에서는 합성 데이터에서만 훈련된 상태에서도 효과적으로 일반화되어, SI IoU 50.7%를 달성한다.
• 모델은 은폐된 부분에 대해 현실적인 외관을 생성하며, GAN 기반 기준 기준보다 외관 생성 품질에서 뛰어난 성능을 보인다.
• 합성 데이터에서 깊이 계층 추론 정확도는 84.04%를 기록하여, 단일 이미지 깊이 기준 기준(60.18%)을 크게 앞서간다.
• 합성 데이터와 자연 데이터를 함께 훈련하면 성능이 악화되며, 도메인 차이 문제를 시사한다.
• 모델은 마스크 교차율 분석을 통해 가림자-가리키는 대상 관계를 성공적으로 추론하여, 가림 신호만으로도 상대적 깊이 순서를 도출할 수 있다.