[論文レビュー] Style-compatible Object Recommendation for Multi-room Indoor Scene Synthesis

Yu He, Yun Cai+6 more|arXiv (Cornell University)|Mar 9, 2020

Remote Sensing and LiDAR Applications参考文献 25被引用数 4

ひとこと要約

本稿では、ラベル付きLDA（L-LDA）モデルを用いたカテゴリーレベルのオブジェクト推薦と、機能多様性とスタイル調和を統合した組み合わせ最適化を用いた、スタイル互換性を備えた複数部屋のインテリアシーン合成パイプラインを提案する。ユーザー評価においてプロのデザイナーと同等のシーン品質を達成し、インテリアシーン合成分野で初めて住宅レベルのスタイル互換性を統合した。

ABSTRACT

Traditional indoor scene synthesis methods often take a two-step approach: object selection and object arrangement. Current state-of-the-art object selection approaches are based on convolutional neural networks (CNNs) and can produce realistic scenes for a single room. However, they cannot be directly extended to synthesize style-compatible scenes for multiple rooms with different functions. To address this issue, we treat the object selection problem as combinatorial optimization based on a Labeled LDA (L-LDA) model. We first calculate occurrence probability distribution of object categories according to a topic model, and then sample objects from each category considering their function diversity along with style compatibility, while regarding not only separate rooms, but also associations among rooms. User study shows that our method outperforms the baselines by incorporating multi-function and multi-room settings with style constraints, and sometimes even produces plausible scenes comparable to those produced by professional designers.

研究の動機と目的

• 単一部屋に限定された従来のインテリアシーン合成手法の限界（機能の崩壊やスタイルの一貫性の欠如）を解消すること。
• 1つの部屋が複数の目的（例：リビングがダイニングスペースとしても使用可能）を果たせる多機能部屋のサポートを実現すること。
• ユーザーが提供するスタイルリファレンスに基づき、複数の部屋にわたる素材と色のパレットの一貫性を保証することで、住宅レベルのスタイル互換性を導入すること。
• 複数部屋の設定において、機能多様性、空間制約、スタイル調和を統合的に最適化する統一されたオブジェクト推薦パイプラインの開発。
• 自動化されたシーン合成が、美観と整合性の面でプロのインテリアデザイナーの作成物と同等の結果を生み出せることを実証すること。

提案手法

• 各部屋をマルチラベルドキュメント、オブジェクトを単語として扱い、SUNCGデータセットからカテゴリーレベルのオブジェクト出現確率をラベル付き潜在ディリクレ配分（L-LDA）で学習する。
• ユーザーが提供するリファレンス画像から5色パレット抽出法を用いて部屋固有のスタイルパレットを生成し、スタイル互換性をガイドする。
• 空間占有、グループレベルの素材一貫性（例：ベッドとナイトエッジング）、複数部屋にわたるグローバルなスタイル調和の3つの制約を満たす組み合わせ最適化問題としてインスタンスレベルのオブジェクト選定を定式化する。
• 3つのエネルギー項（占有制約：過密を回避、グループ制約：オブジェクトグループ内の素材一貫性を強制、グローバルスタイル制約：リファレンス画像のスタイルに一致）からなるコスト関数を導入する。
• インスタンス選定後、既存のオブジェクト配置手法（Anonymous, 2020）を用いて最終的な、適切に配置された3次元シーンを生成する。
• Chenら（2015）の素材提案手法の修正版を適用し、二値の素材制約をグループベースの一貫性モデリングに置き換えることで、スタイル互換性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 L-LDAのようなトピックモデルは、ラベル付き部屋にわたるオブジェクトカテゴリ分布をモデル化することで、複数部屋・多機能なインテリアシーン合成を効果的に支援できるか？
• RQ2 1枚のリファレンス画像を用いて、部屋内だけでなく複数部屋にわたるスタイル互換性をどのように強制できるか？
• RQ3 個々のオブジェクトの素材提案ではなく、グループレベルの素材一貫性制約を組み込むことで、合成されたインテリアシーンのリアリズムと調和はどの程度向上するか？
• RQ4 機能多様性、空間制約、スタイル互換性を同時に考慮する組み合わせ最適化フレームワークは、プロのデザイナーが作成したシーンと同等の結果を生み出せるか？
• RQ5 単一部屋・単一ラベルのベースラインと比較して、本手法は視覚的品質、スタイルの一貫性、機能多様性の面でどの程度優れているか？

主な発見

• 提案手法は、スタイル互換性と視覚的美観の面でベースライン手法を顕著に上回り、ユーザー評価では合成シーンの平均スコアが5.0満点中4.5、SUNCGオリジナルシーンの3.2と顕著な差を示した。
• グループ制約項の導入により、関連オブジェクト（例：テレビ台とコーヒーテーブル）間の素材不一致が低減し、より調和的で現実的な部屋構成が実現した。
• グローバルスタイル制約項により、複数部屋のスタイルがリファレンス画像と一致し、全体として一貫性のある居住空間の美観が実現され、この項を含まない手法よりも顕著に高い評価を得た。
• 占有制約により過密な配置が防止され、部屋が視覚的に整理され、機能的であることが確認された。この制約項を有効にした際、混沌としたレイアウトが顕著に減少した。
• 25名の参加者（うち5名はプロのデザイナー）を対象としたユーザー評価では、オブジェクト多様性、一貫性、スタイル互換性、機能充足度、視覚的美観の5つの側面で、本パイプラインが生成したシーンがSUNCGオリジナルシーンを上回る評価を得た。
• 多ラベル部屋の導入により、機能的に重複する空間（例：リビング・ダイニング併用空間）でも多様なオブジェクトセットを実現し、機能の崩壊を効果的に緩和した。