[論文レビュー] SceneSuggest: Context-driven 3D Scene Design

Manolis Savva, Anne Lynn S. Chang+1 more|arXiv (Cornell University)|Feb 28, 2017

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 10

ひとこと要約

SceneSuggest は、既存の 3D シーンから学習されたデータ駆動型空間的事前知識を用いて、文脈に応じたポイントアンドクリックによる 3D モデル配置および向きの提案を行うインタラクティブな 3D シーン設計システムである。キーワード検索や手動選択と比較して、モデリング時間は 32% 減少し、テキストクエリ数は 50% 減少する。向きの事前知識により、再向き調整にかかる時間は 27% 減少した。

ABSTRACT

We present SceneSuggest: an interactive 3D scene design system providing context-driven suggestions for 3D model retrieval and placement. Using a point-and-click metaphor we specify regions in a scene in which to automatically place and orient relevant 3D models. Candidate models are ranked using a set of static support, position, and orientation priors learned from 3D scenes. We show that our suggestions enable rapid assembly of indoor scenes. We perform a user study comparing suggestions to manual search and selection, as well as to suggestions with no automatic orientation. We find that suggestions reduce total modeling time by 32%, that orientation priors reduce time spent re-orienting objects by 27%, and that context-driven suggestions reduce the number of text queries by 50%.

研究の動機と目的

• 手動によるモデル検索や配置に依存することを減らすことで、3D シーン設計の入り口のハードルを低減すること。
• 繰り返しの 3D マニピュレーションや固定された階層リストに依存する従来の 3D デザインツールの限界を乗り越えること。
• 既存の 3D シーンからのデータを活用して、物体の支持、位置、向きに関する空間的事前知識を学習し、知能的な提案を可能にすること。
• インタラクティブな設計中に文脈的でリアルタイムの提案を統合することで、3D シーンの組み立てにおけるユーザーの効率性と満足度を向上させること。
• 制御されたユーザースタディにおいて、文脈駆動型の提案が手動検索や向きフリーの提案と比較してどれほど効果的であるかを評価すること。

提案手法

• 大規模な既存 3D シーンのコーパスから、データ駆動型の学習を用いて物体の支持、位置、向きに関する静的事前知識を抽出する。
• ユーザーが自動的なモデル提案と配置を求める領域を指定するポイントアンドクリック操作として、文脈的クエリを表現する。
• シーンの文脈に基づいて妥当な物体配置を予測する学習済み事前知識を用いて、候補となる 3D モデルをランク付けする。
• 向きの事前知識を統合して、物体の正しい回転を自動で提案し、手動による再向き調整を最小限に抑える。
• ユーザーがクエリポイントを配置するたびに、動的に更新されるリアルタイムの提案エンジンを実装する。
• キーワード検索と固定リスト選択とを比較するユーザースタディを実施し、時間、クエリ数、ユーザー満足度を測定する。

実験結果

リサーチクエスチョン

• RQ1 文脈駆動型の 3D モデル提案は、屋内シーンの組み立てに要する時間を顕著に短縮できるか？
• RQ2 向きの事前知識は、シーンの組み立て中に物体を手動で再向きする作業の負担をどの程度軽減するか？
• RQ3 キーワードベースの検索と比較して、文脈的提案はテキストクエリ数をどの程度削減できるか？
• RQ4 空間的事前知識の統合は、ユーザーの満足度と 3D シーン設計における自己効力感（コンpetence）を向上させるか？
• RQ5 従来のブラウジング手法と比較して、ポイントアンドクリックによる文脈的提案インターフェースは、直感的で使いやすいとユーザーがどのように感じているか？

主な発見

• ユーザースタディにおいて、SceneSuggest はキーワード検索や手動選択と比較して、合計モデリング時間を 32% 減少させた。
• 向きの事前知識により、物体の再向きに要する時間が 27% 減少し、作業フローの効率性が顕著に向上した。
• 文脈的提案により、キーワードベースの検索と比較してテキストクエリ数が 50% 減少した。これは、より優れた意味的ガイドラインを示している。
• ユーザーは文脈的クエリインターフェースをより楽しい（4.17/5）と評価し、基準条件と比較して自己効力感をより強く感じた（4.38/5）。
• 20 人の参加者のうち 9 人が、文脈的クエリインターフェースを従来のブラウジング手法よりも直感的だと明確に好んだ。
• 本システムは、支持、位置、向きに関するデータ駆動型の事前知識が、リアルタイムでインタラクティブな 3D シーン組み立てを効果的に導くことができることを示した。