[論文レビュー] Camera View Adjustment Prediction for Improving Image Composition

Yu-Chuan Su, Raviteja Vemulapalli+5 more|arXiv (Cornell University)|Apr 15, 2021

Visual Attention and Saliency Detection参考文献 40被引用数 5

ひとこと要約

本論文では、撮影前に画像の構図を改善するために、パン、チルト、ズーム、回転などの最適なカメラビュー調整を予測する深層学習ベースのシステムを提案する。独自に構築したビュー調整データセットを用いた新規な半教師付きアプローチにより、ユーザー研究では79%の構図改善が達成され、クロッピングのみの手法を上回った。

ABSTRACT

Image composition plays an important role in the quality of a photo. However, not every camera user possesses the knowledge and expertise required for capturing well-composed photos. While post-capture cropping can improve the composition sometimes, it does not work in many common scenarios in which the photographer needs to adjust the camera view to capture the best shot. To address this issue, we propose a deep learning-based approach that provides suggestions to the photographer on how to adjust the camera view before capturing. By optimizing the composition before a photo is captured, our system helps photographers to capture better photos. As there is no publicly-available dataset for this task, we create a view adjustment dataset by repurposing existing image cropping datasets. Furthermore, we propose a two-stage semi-supervised approach that utilizes both labeled and unlabeled images for training a view adjustment model. Experiment results show that the proposed semi-supervised approach outperforms the corresponding supervised alternatives, and our user study results show that the suggested view adjustment improves image composition 79% of the time.

研究の動機と目的

• 撮影後のクロッピングの限界を補うために、事前撮影のビュー調整の提案を可能にする。
• このタスクのための公開データセットが存在しないため、新しいベンチマークデータセットを構築する。
• ラベル付きおよびラベルなし画像を活用してモデルの汎化性能を向上させる二段階の半教師付き学習アプローチを開発する。
• ビュー調整の提案が、ベースラインのクロッピング手法と比較して画像の構図に顕著に良い影響を与えるかどうかを評価する。
• 360°画像へのモデルの汎化能力を示し、複雑な構図のための繰り返し調整を可能にする。

提案手法

• 既存の画像クロッピングアノテーションを2次元バウンディングボックス上でパン、チルト、ズーム、回転のビュー調整操作に変換することで、ビュー調整データセットを構築した。
• 二段階の半教師付き学習フレームワークを提案：まず、ラベル付きデータ上で構図スコアリングモデルを学習し、次に自己教師付きコントラスト学習を用いてラベルなしデータでファインチューニングを行う。
• ビュー調整を相対変換として表現：画像サイズのパcent単位での水平・垂直シフト、ズーム（スケール要因）、回転（ラジアン単位）。
• 入力画像から特徴を抽出し、最適な調整ベクトルを予測するためにビジョントランスフォーマーバックボーンを用いた。
• 360°画像評価では繰り返しのビュー調整を適用し、初期ビューポートからより良い構図に到達する複数ステップの調整を可能にした。
• 予測と真値のビュー調整のIoUを用いてモデル性能を評価し、主観的な構図品質の評価としてユーザー研究を実施した。

実験結果

リサーチクエスチョン

• RQ1 撮影前に画像の構図を改善するためのビュー調整を、クロッピングのみでは達成できない範囲で、深層学習モデルが効果的に予測できるか？
• RQ2 ラベル付きデータが限られる状況下で、半教師付き学習アプローチがビュー調整予測の性能向上にどの程度有効か？
• RQ3 本手法のモデルは、パースペクティブ歪みがなく視野が制限されない360°画像に対しても汎化可能か？
• RQ4 ユーザーがアノテートした好みと、モデルが提案する調整との間で、構図品質の観点からどの程度一致するか？
• RQ5 複雑なシーンにおいて、一回のステップ予測に比べて繰り返しのビュー調整が、構図改善をより信頼性高く実現できるか？

主な発見

• 提案された半教師付きアプローチは、真値とのIoUが0.75を達成し、最先端のGAICクロッピングモデル（IoU 0.61）を著しく上回った。
• ユーザー研究では、モデルの提案による構図改善が79.0%のケースで達成され、わずか12.6%の提案で構図が悪化した。
• 360°画像に対してもモデルの汎化性能が高く、Pano2Vidデータセットでは、訓練データに含まれないにもかかわらず78.9%の成功率を達成した。
• 360°環境では繰り返しの調整が可能であり、一回のステップ調整では不十分な場合でも、複数ステップの最適化により構図が改善されることを示した。
• 失敗事例の主な原因は、微小な調整や初期ビューポートに重要なコンテンツが欠落していることであり、誤った大きさの予測が構図を悪化させる場合もあった。