[論文レビュー] Hard Example Generation by Texture Synthesis for Cross-domain Shape Similarity Learning

Huan Fu, Shunming Li+4 more|arXiv (Cornell University)|Oct 23, 2020

Image Retrieval and Classification Techniques被引用数 6

ひとこと要約

本論文は、テクスチャの変動による干渉を低減するため、テクスチャ合成を用いてハードなネガティブトリプルを生成する幾何的特徴に焦点を当てたマルチビュー度量学習フレームワークを提案する。3Dモデルにテクスチャを合成することで、挑戦的なトレーニングサンプルを生成し、幾何的特徴への特徴学習を強化することで、3D-FUTURE、Pix3D、Stanford Cars、Comp Carsベンチマークで最先端の性能を達成した。

ABSTRACT

Image-based 3D shape retrieval (IBSR) aims to find the corresponding 3D shape of a given 2D image from a large 3D shape database. The common routine is to map 2D images and 3D shapes into an embedding space and define (or learn) a shape similarity measure. While metric learning with some adaptation techniques seems to be a natural solution to shape similarity learning, the performance is often unsatisfactory for fine-grained shape retrieval. In the paper, we identify the source of the poor performance and propose a practical solution to this problem. We find that the shape difference between a negative pair is entangled with the texture gap, making metric learning ineffective in pushing away negative pairs. To tackle this issue, we develop a geometry-focused multi-view metric learning framework empowered by texture synthesis. The synthesis of textures for 3D shape models creates hard triplets, which suppress the adverse effects of rich texture in 2D images, thereby push the network to focus more on discovering geometric characteristics. Our approach shows state-of-the-art performance on a recently released large-scale 3D-FUTURE[1] repository, as well as three widely studied benchmarks, including Pix3D[2], Stanford Cars[3], and Comp Cars[4]. Codes will be made publicly available at: https://github.com/3D-FRONT-FUTURE/IBSR-texture

研究の動機と目的

• 形状とテクスチャの違いが混在するため、細分化された3D形状検索における度量学習の性能が低い問題に対処すること。
• 2D画像におけるテクスチャの変動が埋め込み空間学習に与える悪影響を低減すること。
• 3D形状にテクスチャを合成することでハードなトリプルを生成し、幾何的特徴を強調する手法を開発すること。
• 外観ではなく幾何的特徴に注目することで、クロスドメインの形状類似度学習を向上させること。

提案手法

• 参照2D画像から得られるテクスチャコードに基づき、3Dモデルに新しいテクスチャを割り当てるための条件付き生成対抗ネットワーク（cGAN）を訓練する。
• アーキテクチャ画像に一致するテクスチャをポジティブ3D形状に割り当て、ランダムで不一致なテクスチャをネガティブ3D形状に割り当てることで、ハードトリプルを生成する。
• 各3D形状の12枚のレンダリング済み表面法線ビューからの特徴を統合するマルチビュー度量学習フレームワークを採用する。
• 2Dクエリ画像の意味的に顕著な領域からの特徴を強化するためのサリエンシー注意メカニズムを導入する。
• 視点変動への感受性を低減するために、マルチビュー埋め込み統合をガイドするビューポイント注意ポリシーを採用する。
• マスク注意メカニズムとビューポイントガイドランス損失を統合することで、ロバストネスと形状への特徴集中を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2D画像におけるテクスチャの変動がクロスドメイン3D形状検索の度量学習にどのように干渉するか？
• RQ2 合成テクスチャ生成が、テクスチャ関連の干渉を抑えるハードネガティブ例を効果的に生成できるか？
• RQ3 幾何的特徴に焦点を当てた度量学習フレームワークは、細分化された形状ベンチマークでの検索性能をどの程度向上できるか？
• RQ4 注意メカニズムとビューポイントガイドランスは、視点変動および背景変動に対するロバストネスにどのように寄与するか？
• RQ5 提案手法は、屋内および屋外のシーンを含む多様なベンチマークに一般化可能か？

主な発見

• 提案手法は3D-FUTUREベンチマークでTop-1@R 69.1%を達成し、新たな最先端性能を樹立した。
• Pix3Dでは、ベースラインと比較してTop-1@Rが12.8%向上し、優れた一般化性能を示した。
• サリエンシー注意メカニズム単体でも、ベースライン比で7.7%の性能向上を達成し、その有効性が顕著に示された。
• ビューポイントガイドランス機構は、Top-1@R 69.1%を達成し、平均プーリング（66.1%）と最大プーリング（64.7%）を上回った。
• モデルは視点バイアスに対してロバストであり、訓練データが前面視点に偏っていても高い性能を維持した。
• アブレーションスタディの結果、テクスチャ合成と注意メカニズムの両方が、テクスチャの干渉を抑制し、幾何的特徴学習を強化するために不可欠であることが確認された。