[論文レビュー] OPA: Object Placement Assessment Dataset

Liu Liu, Liu, Zhenchen+5 more|arXiv (Cornell University)|Jul 5, 2021

Advanced Neural Network Applications参考文献 23被引用数 12

ひとこと要約

本稿では、合成画像におけるオブジェクト配置の妥当性を評価するためのベンチマークとして、初めてのデータセットであるObject Placement Assessment (OPA)データセットを紹介する。また、前景マスクを用いたResNet-18分類器を用いるシンプルだが効果的なベースライン、SimOPAを提案し、0.780のF1スコアおよび0.842のバランス精度を達成した。これは、GANベースの識別器や標準的なResNet-18よりも優れている。

ABSTRACT

Image composition aims to generate realistic composite image by inserting an object from one image into another background image, where the placement (e.g., location, size, occlusion) of inserted object may be unreasonable, which would significantly degrade the quality of the composite image. Although some works attempted to learn object placement to create realistic composite images, they did not focus on assessing the plausibility of object placement. In this paper, we focus on object placement assessment task, which verifies whether a composite image is plausible in terms of the object placement. To accomplish this task, we construct the first Object Placement Assessment (OPA) dataset consisting of composite images and their rationality labels. We also propose a simple yet effective baseline for this task. Dataset is available at https://github.com/bcmi/Object-Placement-Assessment-Dataset-OPA.

研究の動機と目的

• 合成画像におけるオブジェクト配置の合理性を評価するための標準化されたベンチマークの不足に対処すること。
• 合成画像の合理性ラベルを人間がアノテートした大規模かつ高品質なデータセットを構築すること。
• 既存のGANベースの識別器を上回る、シンプルで効果的なオブジェクト配置評価のベースラインモデルを提案すること。
• ユーザースタディーや下流タスクのパフォーマンスに依存せずに、客観的かつ自動的に合成画像の品質を評価可能にする仕組みを提供すること。

提案手法

• OPAデータセットは、COCOの露出していない前景オブジェクトを、適合する背景画像にランダムなサイズと位置で貼り付けることで構築される。
• 合成画像は4名のアノテーターがラベル付けされ、一貫性のあるラベルが得られた画像のみが保持され、アノテーション品質を確保する。
• データセットには62,074枚の訓練画像と11,396枚のテスト画像が含まれており、4,137種類の異なる前景オブジェクトと1,389種類の異なる背景が含まれ、訓練セットとテストセットの間に重複がないように分割されている。
• 前景マスクを合成画像入力に連結することで、ResNet-18分類器に局所化認識を向上させる、ベースラインモデルSimOPAを提案する。
• クラスの不均衡を考慮し、F1スコアとバランス精度を用いて性能を評価する。
• 比較実験には、標準的なResNet-18、PlaceNet、TERSE（識別器をResNet-18に置き換えた有無を含む）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 合成画像におけるオブジェクト配置が妥当または不適切であると感じさせる主な視覚的手がかりは何であるか？
• RQ2 ユーザースタディーや下流タスクに依存せずに、配置の合理性を信頼性高く自動評価可能なベンチマークを構築するにはどうすればよいか？
• RQ3 前景マスク入力を備えたシンプルな分類器は、画像生成のために訓練された複雑なGANベースの識別器を上回ることができるか？
• RQ4 オブジェクトのカテゴリーや配置設定ごとに、正例と負例の分布はどのように変化するか？

主な発見

• SimOPAベースラインは0.780のF1スコアおよび0.842のバランス精度を達成し、標準的なResNet-18（0.680のF1スコア）や他のGANベースの識別器を顕著に上回った。
• PlaceNetおよびTERSE識別器はOPAタスクにおいて劣った性能を示し、F1スコアはそれぞれ0.488および0.476にとどまり、直接的な配置評価には適さないことが示された。
• TERSEの識別器をResNet-18に置き換えることで性能はわずかに向上（F1 0.355）したが、依然としてSimOPAに劣っており、前景マスクの統合が極めて重要であることが浮き彫りになった。
• 訓練データには21,376個の正例と40,698個の負例、テストデータには3,588個の正例と7,808個の負例が含まれており、両セット間で前景または背景に重複がない。
• 正例の割合は、オブジェクトのカテゴリーよりも、実現可能なスケールや配置の違いにより顕著に変動しており、タスクの複雑さを反映している。
• 大多数の合成画像のサイズ比は[0.0, 0.6]の範囲に収まっており、前景オブジェクト全体が可視であるという制約のため、中央領域（1,1）に最も多くの画像が含まれている。