[論文レビュー] Pre-train, Self-train, Distill: A simple recipe for Supersizing 3D Reconstruction

Kalyan Vasudev Alwala, Abhinav Gupta+1 more|arXiv (Cornell University)|Apr 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、合成3Dデータでの事前学習、前景マスクを用いた多様な屋外画像コレクションでの自己学習、および1つの高容量モデルへの知識蒸留という3段階の手法を用いて訓練された統合的3D再構成モデルを提案する。このアプローチにより、150種類以上のオブジェクトカテゴリで最先端の性能を達成し、未学習のカテゴリに対しても強力なゼロショット一般化を実現し、学習カテゴリ数を増やすことで再構成品質が顕著に向上する。

ABSTRACT

Our work learns a unified model for single-view 3D reconstruction of objects from hundreds of semantic categories. As a scalable alternative to direct 3D supervision, our work relies on segmented image collections for learning 3D of generic categories. Unlike prior works that use similar supervision but learn independent category-specific models from scratch, our approach of learning a unified model simplifies the training process while also allowing the model to benefit from the common structure across categories. Using image collections from standard recognition datasets, we show that our approach allows learning 3D inference for over 150 object categories. We evaluate using two datasets and qualitatively and quantitatively show that our unified reconstruction approach improves over prior category-specific reconstruction baselines. Our final 3D reconstruction model is also capable of zero-shot inference on images from unseen object categories and we empirically show that increasing the number of training categories improves the reconstruction quality.

研究の動機と目的

• 150種類以上のオブジェクトカテゴリにわたる統合的3D再構成モデルのスケーラビリティと一般化性能のギャップを解消すること。
• 共有される3D事前知識が欠如し、広範な正則化が必要となる分類固有モデルの限界を克服すること。
• 前景マスクからの弱い教師信号のみを用いて、未学習のオブジェクトカテゴリに対してもゼロショット3D再構成を可能にすること。
• 学習カテゴリ数を増やすことで一般化性能と再構成品質が向上することを実証すること。

提案手法

• 合成マルチビュー画像レンダリングデータを用いて3D再構成モデルを事前学習し、強力な3D事前知識を学習する。
• 前景マスクアノテーションのみを教師信号として用いて、屋外画像コレクション上で分類固有のモデルを自己学習する。
• カテゴリ別モデルから得た知識を、統合的かつ高容量な3D再構成ネットワークに知識蒸留する。
• カテゴリ間で共有される構造的事前知識を活用することで、敵対的または可変形状モデルに依存するのを減らし、一般化性能を向上させる。
• 統合モデルをエンドツーエンドで訓練し、未学習カテゴリに対するゼロショット推論を可能にする。
• 反復的最近接点（ICP）を用いて予測値と真値を整合させ、チェンバーディスタンスおよびIoUメトリクスを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 2Dマスクの教師信号のみを用いて、1つの統合的3D再構成モデルが多様な150種類以上のオブジェクトカテゴリに一般化可能か？
• RQ2 合成データでの事前学習が、弱教師付き3D学習における一般化性能の向上と不安定性の低減に寄与するか？
• RQ3 自己学習と知識蒸留により、追加の正則化なしにカテゴリ別モデルから統合モデルへの知識転送が有効に可能か？
• RQ4 学習カテゴリ数の増加が、未学習カテゴリへのゼロショット一般化性能に与える影響は？
• RQ5 統合モデルは、学習済みカテゴリ（in-domain）およびゼロショット設定の両方で、分類固有のベースラインを上回る性能を示せるか？

主な発見

• Pascal3D+およびCo3Dにおいて、平均チェンバーディスタンス0.48、IoU 0.42という最先端の性能を達成し、従来の分類固有ベースラインを上回った。
• 未学習のCo3Dカテゴリにおけるゼロショット再構成性能は、学習カテゴリ数の増加に伴い顕著に向上した：合成ベースラインの平均チェンバーロス0.368が、125種類以上のカテゴリで学習した場合に0.239に低下した。
• モデルは未学習のカテゴリへ一般化可能であり、多様なクラス間で学習された共有3D事前知識が、意味的なゼロショット3D推論を可能にしていることを示した。
• 自己学習と蒸留パイプラインにより、敵対的または可変形状事前知識に依存しない安定で高精度な学習が可能になった。
• 定性的な結果から、いす、車両、花瓶など複雑な形状を含む多様なオブジェクトカテゴリにおいて、高品質な3D再構成が得られた。
• 失敗モードとして、遮蔽や顕著な変動を示すオブジェクトでは性能が劣ることが判明し、複雑な現実世界の画像変動への対処限界が示された。