[논문 리뷰] Generating unseen complex scenes: are we there yet?

Arantxa Casanova, Michal Drozdzal외 1명|arXiv (Cornell University)|2020. 12. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 13

한 줄 요약

이 논문은 복잡한 시나리오 조건부 생성 모델을 평가하기 위한 표준화된 방법론을 제안하며, 훈련 데이터에 대한 적합성, 볼 수 있는 객체가 새로운 레이아웃에서 사용되는 경우의 세밀한 조건부 일반화, 그리고 볼 수 없는 객체 조합에 대한 거친 조건부 일반화 능력을 평가한다. 주요 기여는 개별 객체 수준의 공간 정규화, 시나리오 그래프 인지 유사도 손실, 고품질 마스크 생성이 두 가지 유형의 볼 수 없는 조건부 일반화에 대해 강건성을 크게 향상시킨다는 점을 밝혀내며, 새로운 SOTA 모델이 모든 일반화 시나리오에서 더 낮은 FID 점수를 기록했다.

ABSTRACT

Although recent complex scene conditional generation models generate increasingly appealing scenes, it is very hard to assess which models perform better and why. This is often due to models being trained to fit different data splits, and defining their own experimental setups. In this paper, we propose a methodology to compare complex scene conditional generation models, and provide an in-depth analysis that assesses the ability of each model to (1) fit the training distribution and hence perform well on seen conditionings, (2) to generalize to unseen conditionings composed of seen object combinations, and (3) generalize to unseen conditionings composed of unseen object combinations. As a result, we observe that recent methods are able to generate recognizable scenes given seen conditionings, and exploit compositionality to generalize to unseen conditionings with seen object combinations. However, all methods suffer from noticeable image quality degradation when asked to generate images from conditionings composed of unseen object combinations. Moreover, through our analysis, we identify the advantages of different pipeline components, and find that (1) encouraging compositionality through instance-wise spatial conditioning normalizations increases robustness to both types of unseen conditionings, (2) using semantically aware losses such as the scene-graph perceptual similarity helps improve some dimensions of the generation process, and (3) enhancing the quality of generated masks and the quality of the individual objects are crucial steps to improve robustness to both types of unseen conditionings.

연구 동기 및 목표

• 복잡한 시나리오 조건부 생성 분야에서 표준화된 평가 방법의 부재로 인해 공정한 비교 및 모델 성능 이해가 어려운 문제를 해결하기 위해.
• 모델이 훈련 분포에 얼마나 잘 적합하고, 볼 수 있는 객체 조합과 볼 수 없는 객체 조합을 포함한 볼 수 없는 조건부 조건에 대해 얼마나 잘 일반화하는지 체계적으로 평가하기 위해.
• 특히 제로샷 시나리오 생성을 위한 일반화 능력을 향상시키는 아키텍처 및 훈련 구성 요소를 규명하기 위해.
• 조건부 모odal, 데이터 분할, 평가 지표 등 핵심 변수들을 분리하여 재현 가능한 벤치마크 방법론을 제공하기 위해.

제안 방법

• 세 가지 다른 테스트 세트를 사용하는 통합 평가 프레임워크를 제안: 볼 수 있는 조건부 조건(S), 볼 수 없는 세밀한 조건부 조건(Su), 볼 수 없는 거친 조건부 조건(Su²)으로, 통제된 비교를 가능하게 한다.
• 생성기에서 개별 객체 수준의 공간 정규화를 적용하여 조합적 일반화를 장려하고 객체 수준의 강건성을 향상시킨다.
• 생성된 이미지가 정답 시나리오 그래프와 일치하도록 하는 시나리오 그래프 인지 유사도 손실(SG)을 도입하여 조건부 일관성을 향상시킨다.
• 정답 마스크(GT)와 예측 마스크를 조건부 입력으로 사용하여 마스크 정확도가 일반화에 미치는 영향을 평가한다.
• ISLA 기반 모델에 대한 광범위한 아블레이션 연구를 수행하며, 마스크 감시 여부, 정규화, 시나리오 그래프 모듈 유무를 고려한 다양한 변형을 비교한다.
• 모든 조건부 조건에서 영역 수준 및 개체 수준의 일관성, 정확도, FID, 정밀도, 재현율, F1 등을 평가 지표로 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 최근의 복잡한 시나리오 생성 모델은 볼 수 있는 조건부 조건에서 훈련된 분포에 얼마나 잘 적합하며, 볼 수 있는 조건부 조건에서 인식 가능한 시나리오를 얼마나 잘 생성하는가?
• RQ2 볼 수 있는 객체 조합으로 구성된 볼 수 없는 조건부 조건(즉, 새로운 레이아웃)에 대해 모델은 어느 정도 일반화할 수 있는가?
• RQ3 완전히 볼 수 없는 객체 조합으로 구성된 조건부 조건에서 모델은 어떻게 성능을 내는가(제로샷 일반화)?
• RQ4 정규화, 마스크 품질, 의미적 손실 등의 모델 구성 요소 중에서 볼 수 없는 조건부 조건에 대한 일반화 능력을 가장 크게 향상시키는 요소는 무엇인가?

주요 결과

• 최근 모델들은 볼 수 있는 조건부 조건에서 인식 가능한 시나리오를 생성하지만, 특히 희소 객체 클래스에 대해 볼 수 없는 객체 조합에서 생성할 경우 심한 이미지 품질 저하를 겪는다.
• 개별 객체 수준의 공간 정규화는 두 가지 유형의 볼 수 없는 조건부 조건에 모두 대해 개별 객체 품질 향상과 강건성 향상을 이끌어내며, 조합적 일반화에 있어 중요성을 보여준다.
• 시나리오 그래프 인지 유사도 손실을 통합하면 조건부 일관성이 크게 향상되며, 특히 볼 수 없는 거친 조건부 조건에서 두드러진 효과를 보이며, 내부 조건부 다양성에는 해를 끼치지 않는다.
• 고품질의 생성 마스크는 일반화에 매우 중요하다: 정답 마스크를 사용하는 모델은 예측 마스크를 사용하는 모델보다 성능이 뛰어나며, 마스크 품질은 제로샷 성능의 핵심 제약 요소이다.
• 정답 마스크와 시나리오 그래프 모듈을 사용하는 ISLA+M+SG 모델 변형은 모든 평가 시나리오에서 SOTA 성능을 달성하며, LostGANv2보다 낮은 FID 점수를 기록했다.
• 아블레이션 연구 결과, 마스크 생성 품질 향상은 특히 볼 수 없는 거친 조건부 조건에 대한 일반화 능력을 향상시키는 데 가장 유망한 접근 중 하나임을 규명했다.