[논문 리뷰] OPA: Object Placement Assessment Dataset

Liu Liu, Liu, Zhenchen외 5명|arXiv (Cornell University)|2021. 07. 05.

Advanced Neural Network Applications참고 문헌 23인용 수 12

한 줄 요약

이 논문은 복합 이미지 내 물체 배치의 타당성을 평가하기 위한 기준이 되는 Object Placement Assessment (OPA) 데이터셋을 소개한다. 이는 복합 이미지 내 물체 배치의 타당성 평가를 위한 첫 번째 벤치마크이다. 간단하면서도 효과적인 베이스라인인 SimOPA를 제안하며, 이는 전경 마스크를 사용하는 ResNet-18 분류기를 활용하여 F1 점수 0.780과 균형 잡힌 정확도 0.842를 달성했으며, 기존 GAN 기반 분류기와 표준 ResNet-18보다 뛰어난 성능을 보였다.

ABSTRACT

Image composition aims to generate realistic composite image by inserting an object from one image into another background image, where the placement (e.g., location, size, occlusion) of inserted object may be unreasonable, which would significantly degrade the quality of the composite image. Although some works attempted to learn object placement to create realistic composite images, they did not focus on assessing the plausibility of object placement. In this paper, we focus on object placement assessment task, which verifies whether a composite image is plausible in terms of the object placement. To accomplish this task, we construct the first Object Placement Assessment (OPA) dataset consisting of composite images and their rationality labels. We also propose a simple yet effective baseline for this task. Dataset is available at https://github.com/bcmi/Object-Placement-Assessment-Dataset-OPA.

연구 동기 및 목표

• 복합 이미지 내 물체 배치의 합리성 평가를 위한 표준화된 벤치마크 부족 문제를 해결하기 위해.
• 사람이 레이블을 붙인 합리성 레이블을 포함한 대규모 고품질 데이터셋을 구축하기 위해.
• 기존 GAN 기반 분류기보다 뛰어난 성능을 보이는 단순하면서도 효과적인 물체 배치 평가 베이스라인 모델을 제안하기 위해.
• 사용자 연구나 후속 작업 성능에 의존하지 않고도 객관적이고 자동화된 복합 이미지 품질 평가를 가능하게 하기 위해.

제안 방법

• OPA 데이터셋은 COCO에서 가져온 부분이 드러나지 않는 전경 물체를 무작위 크기와 위치로 호환 가능한 배경 이미지에 붙여서 구성된다.
• 복합 이미지는 네 명의 인간 평가자에 의해 레이블이 붙으며, 일관된 레이블을 가진 이미지만 유지되어 레이블 품질을 확보한다.
• 데이터셋은 훈련용 62,074장, 테스트용 11,396장의 이미지로 구성되어 있으며, 4,137개의 고유한 전경 물체와 1,389개의 고유한 배경이 포함되어 있으며, 훈련 및 테스트 세트 간에 겹침이 없도록 분할되었다.
• SimOPA라는 베이스라인 모델은 전경 마스크를 복합 이미지 입력과 연결하여 ResNet-18 분류기에 입력함으로써 국소화 인식 능력을 향상시키기 위해 제안된다.
• 데이터셋 내 클래스 불균형을 고려하여 F1 점수와 균형 잡힌 정확도를 성능 평가 지표로 사용한다.
• 비교 실험에는 표준 ResNet-18, PlaceNet, 그리고 TERSE(분류기 교체 여부에 따라 각각 포함 및 제외)가 포함된다.

실험 결과

연구 질문

• RQ1 복합 이미지 내 물체 배치가 타당하거나 비타당한 데 영향을 주는 주요 시각적 단서는 무엇인가?
• RQ2 사용자 연구나 후속 작업 성능에 의존하지 않고도 신뢰할 수 있는 자동 벤치마크를 어떻게 구축할 수 있는가?
• RQ3 전경 마스크 입력을 가진 단순한 분류기가 이미지 생성을 위해 훈련된 복잡한 GAN 기반 분류기보다 뛰어난 성능을 낼 수 있는가?
• RQ4 양성 및 음성 샘플의 분포가 물체 카테고리와 배치 구성에 따라 어떻게 달라지는가?

주요 결과

• SimOPA 베이스라인은 F1 점수 0.780과 균형 잡힌 정확도 0.842를 기록했으며, 표준 ResNet-18(0.680 F1 점수)과 다른 GAN 기반 분류기보다 뚜렷이 뛰어난 성능을 보였다.
• PlaceNet과 TERSE 분류기는 OPA 작업에서 성능이 열악하여 F1 점수 각각 0.488과 0.476를 기록했으며, 이는 직접적인 배치 평가에 적합하지 않음을 시사한다.
• TERSE의 분류기를 ResNet-18으로 교체하면 성능이 약간 향상되며(F1 0.355), 하지만 여전히 SimOPA에 뒤지며, 전경 마스크 통합의 중요성을 강조한다.
• 훈련 세트에는 양성 샘플 21,376개, 음성 샘플 40,698개가 포함되어 있고, 테스트 세트에는 양성 샘플 3,588개, 음성 샘플 7,808개가 포함되어 있으며, 양성 및 음성 샘플 간에 전경 또는 배경의 겹침이 없다.
• 물체 카테고리에 따라 양성 샘플 비율이 크게 달라지며, 이는 타당한 크기와 배치의 가능성이 다름에 따라 발생하는 작업의 복잡성을 반영한다.
• 대부분의 복합 이미지의 크기 비율은 [0.0, 0.6] 범위 내에 있으며, 전체 전경 물체가 보이도록 유지되어야 하므로 중심 영역(1,1)에 가장 많은 이미지가 포함되어 있다.