[論文レビュー] Extending 3-DoF Metrics to Model User Behaviour Similarity in 6-DoF Immersive Applications

Silvia Rossi, Irene Viola+2 more|arXiv (Cornell University)|Dec 17, 2021

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、ユーザーの位置と視線方向を統合するマルチフェーチャー指標を導入することで、ボリュメトリックVRにおける没入型6-DoF環境に3-DoFユーザ行動類似度メトリクスを拡張する。このアプローチにより、ボリュメトリックVRにおける類似行動検出が著しく向上する。提案されたメトリクスw₇は、全シーケンスで最高の正確性（P > 0.4）を達成し、単一フェーチャー指標を上回り、類似視聴行動を示すユーザーのロバストかつリアルタイムなクラスタリングを可能にする。

ABSTRACT

Immersive reality technologies, such as Virtual and Augmented Reality, have ushered a new era of user-centric systems, in which every aspect of the coding--delivery--rendering chain is tailored to the interaction of the users. Understanding the actual interactivity and behaviour of the users is still an open challenge and a key step to enabling such a user-centric system. Our main goal is to extend the applicability of existing behavioural methodologies for studying user navigation in the case of 6 Degree-of-Freedom (DoF). Specifically, we first compare the navigation in 6-DoF with its 3-DoF counterpart highlighting the main differences and novelties. Then, we define new metrics aimed at better modelling behavioural similarities between users in a 6-DoF system. We validate and test our solutions on real navigation paths of users interacting with dynamic volumetric media in 6-DoF Virtual Reality conditions. Our results show that metrics that consider both user position and viewing direction better perform in detecting user similarity while navigating in a 6-DoF system. Having easy-to-use but robust metrics that underpin multiple tools and answer the question ``how do we detect if two users look at the same content?" open the gate to new solutions for a user-centric system.

研究の動機と目的

• 6-DoF没立体VR環境におけるユーザ行動類似度をモデル化するための標準化されたメトリクスの欠如に対処する。
• ユーザーの移動とヘッドトラッキングを含む完全なユーザロケーションを対応できるよう、既存の3-DoF行動分析技術を拡張する。
• ユーザ中心のマルチメディアシステムにおけるリアルタイム展開に適した、単純で効率的かつロバストな類似度メトリクスを開発する。
• 動的ボリュメトリックコンテンツを有する6-DoF VR環境からの実際のナビゲーショントラジェクトリを用いて、提案メトリクスを検証する。
• パーソナライズドコンテンツ配信、エクスペリエンス品質最適化、行動プロファイリングなどの応用を可能にする、正確なユーザクラスタリングを実現する。

提案手法

• 6-DoF空間におけるユーザー位置と視線方向を組み合わせた7つの類似度メトリクス（w₁からw₈）を提案し、そのうちw₇とw₈はマルチフェーチャーの組み合わせである。
• 視野内の共通レンダリングポイントに基づく真値の重複率メトリクスを、類似度のベンチマークとして用いる。
• 類似度メトリクスに基づいてユーザーをグループ化するため、クリークベースのクラスタリングアルゴリズムを適用し、評価には一般化されたダンのインデックス（GDI）とF-measureを用いる。
• ボリュメトリックポイントクラウドコンテンツを有する6-DoF VR実験から得た実際のナビゲーショントラジェクトリを用いてメトリクスを評価する。
• 標準的なシステムデータ（位置と姿勢）を用いてリアルタイムにメトリクスを計算し、計算オーバーヘッドを低く（1回の評価あたり0.01秒未満）に保つ。
• コンテンツ重複に基づく真値を用いて、フレームベースとチャンクベースの分析における精度、再現率、F-measureを比較する。

実験結果

リサーチクエスチョン

• RQ1 6-DoFにおけるユーザナビゲーションパターンは、3-DoFと比較して、行動の複雑さやインタラクションダイナミクスの面でどのように異なるか？
• RQ2 ユーザーの位置と視線方向のどの組み合わせが、6-DoF没立体環境における行動類似度を最もよく捉えているか？
• RQ3 既存の3-DoF行動メトリクスを、最小限の計算コストと高い正確性で6-DoFシステムに拡張できるか？
• RQ4 単一フェーチャーとマルチフェーチャーの類似度メトリクスは、6-DoF VRで同じコンテンツを視聴しているユーザーを検出する際に、どのように比較されるか？
• RQ5 提案されたメトリクスは、ユーザ中心のマルチメディアシステムにおける信頼性の高いリアルタイムユーザクラスタリングを可能にするか？

主な発見

• ユーザーの位置と視線方向の両方を組み合わせたメトリクス（例：w₇とw₈）は、単一フェーチャー指標を上回り、行動類似度の検出において優れた性能を示す。
• w₇メトリクスは、全シーケンスの時間的範囲で最高の正確性（P > 0.4）を達成し、同じコンテンツを視聴しているユーザーを識別する上で優れた正確性を示している。
• 提案されたすべての類似度メトリクスは真値を上回るクラスタを生成しており、w₁、w₅、w₈は関連クラスタに80％のユーザーを含んでいた。
• 重複率に基づく真値メトリクスは正確ではあるが、計算が高コストであり、リアルタイム用途には現実的でない。
• 単一フェーチャー指標w₁（位置のみに基づく）でさえ、単純さにもかかわらずマルチフェーチャー指標と同等の性能を示しており、予備的分析における有用性が示唆される。
• 提案されたメトリクスは計算効率が高く、1回の評価が0.01秒未満で完了するため、没立体システムにおけるリアルタイム展開に適している。