[論文レビュー] High-Quality Correspondence and Segmentation Estimation for Dual-Lens Smart-Phone Portraits

Xiaoyong Shen, Hongyun Gao+3 more|arXiv (Cornell University)|Apr 7, 2017

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 3

ひとこと要約

本稿では、二レンズスマートフォンのポートレート画像における密な対応とセマンティックセグメンテーションを同時に向上させるために、完全結合型条件付きランダムフィールド（CRF）を用いた共同最適化フレームワークを提案する。地域的対応を導入することで計算コストを低減するとともに、人間の体の事前知識を活用し、最新の性能を達成した。新規の2,000枚のポートレート画像データセット上で、平均終点誤差（AEPE）を5.29に低下させ、平均IoUを88.33%まで向上させた。

ABSTRACT

Estimating correspondence between two images and extracting the foreground object are two challenges in computer vision. With dual-lens smart phones, such as iPhone 7Plus and Huawei P9, coming into the market, two images of slightly different views provide us new information to unify the two topics. We propose a joint method to tackle them simultaneously via a joint fully connected conditional random field (CRF) framework. The regional correspondence is used to handle textureless regions in matching and make our CRF system computationally efficient. Our method is evaluated over 2,000 new image pairs, and produces promising results on challenging portrait images.

研究の動機と目的

• テクスチャが乏しい領域、隠蔽、ノイズの影響により複雑になる二レンズスマートフォンのポートレート画像における正確な密な対応とセマンティックセグメンテーションの課題に対処すること。
• 密なオプティカルフローとピixeL単位のセマンティックラベルの間で相互精錬を可能にする、対応推定とセマンティックセグメンテーションを統合した単一の共同最適化フレームワークを統合すること。
• CRFのラベル空間を制限する地域的対応を導入することで、完全結合型CRFの推論における計算コストを低減し、1枚あたりのラベル数を40未満に制限すること。
• 人間の体の事前知識と頑健な特徴マッチングを用いて、特に人体の境界付近や低テクスチャ領域において、困難なポートレートデータの性能を向上させること。

提案手法

• 対応とセグメンテーションの特徴を統合するための共同完全結合型CRFモデルを定式化し、密なオプティカルフローとピixeL単位のセマンティックラベルの間で相互精錬を可能にする。
• 地域的対応を導入してCRFのラベル空間を制限し、ピixeL単位の変位マップを領域単位のラベルに置き換えることで、推論の複雑さをN（画像領域数）を用いてO(N²)からO(N)に低減する。
• 既存のモデル（例：MDP、LDOF）からの粗いから細かいオプティカルフローの初期化を実施し、CNNベースの特徴量と人間の体の事前知識を用いたCRF最適化によりそれを精錬する。
• セマンティックセグメンテーションは、新規のポートレート特化データセット上で微調整されたFCNまたはCRFasRNNモデルで初期化し、対応誘導型CRF推論によりさらに精錬する。
• 統一されたCRFエネルギー関数を用いて、対応とセグメンテーションの更新を交互に繰り返す共同最適化スキームを採用し、空間的一致性と外観類似性をモデル化する。
• CRFエネルギー関数には、フローの滑らかさ、セグメンテーションの信頼性、対応とセグメンテーションラベル間の適合性に関するデータ項を組み込む。

実験結果

リサーチクエスチョン

• RQ1 完全結合型CRFを用いた対応とセグメンテーションの共同最適化は、独立した手法と比較して、二レンズポートレート画像における性能を向上させることができるか？
• RQ2 地域的対応は、密な対応推定における計算コストを低減しつつ、精度を維持または向上させるためにどの程度有効であるか？
• RQ3 人間の体の事前知識と対応とセグメンテーションの相互精錬は、テクスチャが乏しい領域や境界領域における誤差をどの程度低減するか？
• RQ4 共同モデルは、対応とセグメンテーションを別々に精錬する手法を上回る性能を発揮できるか？

主な発見

• 提案手法の共同モデルは、新規のポートレートデータセット上で平均交差率（IoU）88.33%を達成し、FCN（79.51%）、DeepLab（80.09%）、CRFasRNN（80.23%）といったベースラインモデルを大きく上回った。
• 共同モデルは平均終点誤差（AEPE）を5.29に低下させ、MDP（8.23）、LDOF（8.32）、DeepFlow（7.87）を含むすべての比較手法を上回った。
• 地域的対応を用いることで、1枚あたりの推論時間を186.3秒から16.63秒に短縮し、AEPEも6.45から5.29に改善した。これにより、速度と精度の両面で向上が確認された。
• セグメンテーションのみを別々に精錬する手法（Ours-separate）ではIoUが84.32%にとどまったが、共同モデルにより88.33%まで向上し、相互精錬の有効性を実証した。
• 可視化比較では、従来手法が失敗する人体の境界部やテクスチャが乏しい領域（例：肌、髪）において、誤差が顕著に低減されていることが確認された。
• 高レベルの人体構造と対応の一貫性を活用することで、低テクスチャ領域や隠蔽領域に対しても、本手法は頑健であることが示された。