[論文レビュー] ImageSpirit: Verbal Guided Image Parsing

Ming‐Ming Cheng, Shuai Zheng+7 more|Radar (Oxford Brookes University)|Oct 16, 2013

Advanced Image and Video Retrieval Techniques参考文献 54被引用数 32

ひとこと要約

本論文では、名詞を物体ラベル、形容詞を視覚的属性として扱い、多ラベルCRFを用いてそれらを共同でモデル化することで、ピクセル単位のセグメンテーションを実現する、インタラクティブで口頭による誘導を受けた画像解析を可能にするImageSpiritというシステムを提案する。ユーザーは自然言語のコマンドを用いて結果を refining し、実世界の画像を対象に定量的評価およびユーザースタディを実施することで、インタラクティブな速度で高品質で人間が直感的と感じるシーン解析を達成する。

ABSTRACT

Humans describe images in terms of nouns and adjectives while algorithms operate on images represented as sets of pixels. Bridging this gap between how humans would like to access images versus their typical representation is the goal of image parsing, which involves assigning object and attribute labels to pixel. In this paper we propose treating nouns as object labels and adjectives as visual attribute labels. This allows us to formulate the image parsing problem as one of jointly estimating per-pixel object and attribute labels from a set of training images. We propose an efficient (interactive time) solution. Using the extracted labels as handles, our system empowers a user to verbally refine the results. This enables hands-free parsing of an image into pixel-wise object/attribute labels that correspond to human semantics. Verbally selecting objects of interests enables a novel and natural interaction modality that can possibly be used to interact with new generation devices (e.g. smart phones, Google Glass, living room devices). We demonstrate our system on a large number of real-world images with varying complexity. To help understand the tradeoffs compared to traditional mouse based interactions, results are reported for both a large scale quantitative evaluation and a user study.

研究の動機と目的

• 人間の言語的記述（名詞と形容詞）とピクセルレベルの画像表現との間の意味的ギャップを埋めること。
• 口頭によるラベルの微調整をサポートする効率的でインタラクティブな画像解析システムを開発すること。
• スマートウォッチ、Google Glass、リビングルームシステムなどのデバイスに特に適した、手を離した状態で自然言語によるインタラクションを可能にする画像編集および解析を実現すること。
• 定量的評価およびユーザースタディの両設定において、従来のマウスベースの微調整と比較して、口頭インタラクションの有効性を評価すること。

提案手法

• 名詞を物体クラスラベル、形容詞を視覚的属性ラベルとして扱い、画像解析のための意味的ハンドルを構築する。
• 画像特徴量と学習データに基づき、ピクセル単位の物体および属性ラベルを共同で推定する、新しい多ラベル因子分解型条件付きランダムフィールド（CRF）を用いる。
• 学習データから得たスコアを用いて物体および属性のポテンシャルを統合し、より高い解析精度を得るための共同推論を可能にする。
• ユーザーが口頭コマンド（例：「ガラスの絵を微調整」）を用いて解析結果を修正できるようにし、CRFの項の重みを再調整することで予測を変更する。
• 共同CRFモデルの要因分解を活用し、フィルタリングベースの技術を用いて効率的な推論を実現し、インタラクティブな応答速度を確保する。
• 色・素材の変更、物体の変形、再配置、セマンティックアニメーションなどの後続編集タスクを、解析済み領域に基づいてサポートする。

実験結果

リサーチクエスチョン

• RQ1 自然言語による記述（名詞と形容詞）は、画像解析結果の微調整に効果的なインタラクティブハンドルとして機能するか？
• RQ2 物体と属性の相乗的関係をモデル化することで、多ラベルCRFによる共同モデリングが、解析精度をどのように向上させるか？
• RQ3 インタラクティブな速度で口頭コマンドを用いることで、従来のインタラクション方法と比較して、高品質で人間が直感的と感じる画像セグメンテーションをどの程度達成できるか？
• RQ4 判別性のない属性が利用できない場合、口頭微調整の失敗モードはどのようなものであり、どれくらいの頻度で発生するか？
• RQ5 訓練データにない物体について、属性記述にのみ依存することで、ゼロショット一般化が可能になるか？

主な発見

• 自然言語コマンドを用いた高品質でインタラクティブな画像解析が達成され、テストされた画像の87%が属性ベースのコマンドによって正常に微調整された。
• ユーザースタディおよび大規模な定量的評価から、特に手を離したデバイス向けに、口頭インタラクションが効果的で直感的であることが確認された。
• 多ラベルCRFによる物体と属性の共同モデリングは、それらを別々にモデル化する手法よりも優れた解析パフォーマンスを実現した。
• 解析済み領域に基づき、色の変更、素材の移行、物体の再配置、セマンティックアニメーションといった多様な編集操作をサポートした。
• 限界は存在するが、テストされた画像の13%（78枚中10枚）が判別性のない属性の欠如により微調整できなかったため、強力なロバストネスを示した。
• 訓練データにない物体についても、属性記述にのみ依存することでセグメンテーションが可能であるため、ゼロショット一般化の可能性を示唆した。