[論文レビュー] Photo-Guided Exploration of Volume Data Features

Mohammad Raji, Alok Hota+3 more|arXiv (Cornell University)|Oct 18, 2017

Computer Graphics and Visualization Techniques参考文献 21被引用数 3

ひとこと要約

本論文では、衛星写真のようなターゲット画像に一致するように、ボリュームレンダリングのパラメータを自動で発見する、フォトガイドドでディープラーニングを活用した進化的最適化手法を提案する。画像類似度を測るためにシameseニューラルネットワークを用い、遺伝的アルゴリズムでトランスファーファンクションを段階的に最適化することで、スーパーコンピュータ上で7分未満で科学的シミュレーションデータの視覚的に正確なレンダリングを生成する。これにより、手動でのチューニングを必要とせず、自動的に視覚的特徴を発見できる。

ABSTRACT

In this work, we pose the question of whether, by considering qualitative information such as a sample target image as input, one can produce a rendered image of scientific data that is similar to the target. The algorithm resulting from our research allows one to ask the question of whether features like those in the target image exists in a given dataset. In that way, our method is one of imagery query or reverse engineering, as opposed to manual parameter tweaking of the full visualization pipeline. For target images, we can use real-world photographs of physical phenomena. Our method leverages deep neural networks and evolutionary optimization. Using a trained similarity function that measures the difference between renderings of a phenomenon and real-world photographs, our method optimizes rendering parameters. We demonstrate the efficacy of our method using a superstorm simulation dataset and images found online. We also discuss a parallel implementation of our method, which was run on NCSA's Blue Waters.

研究の動機と目的

• ターゲット画像（例：ハリケーンの衛星写真）を入力として、科学的ボリュームデータセットにおける視覚的特徴の自動探索を実現すること。
• 科学的可視化パイプラインにおける専門知識や手動によるパラメータチューニングへの依存を低減すること。
• 実世界の画像（例：ハリケーン）に含まれる特徴がシミュレーションデータ内に存在するかどうかをユーザーが照会できるようにすること。
• 画像類似度メトリクスを用いた、スケーラブルで再現可能なレンダリングパラメータ最適化手法の開発。
• 定性的な入力による可視化パラメータのリバースエンジニアリングの可能性を実証すること。

提案手法

• レンダリング済みボリューム画像とターゲット写真の間の知覚的類似度を計算するため、シamese畳み込みニューラルネットワークを訓練する。
• 遺伝的アルゴリズムが、レンダリング画像とターゲット間のディープメトリック損失を最小化するように、トランスファーファンクションパラメータの集団を進化させる。
• パラメータ空間を効率的に探索するため、レンダリング設定の集団に対して交差と変異の操作を適用する最適化プロセスを実装する。
• ブルー・ウォーターズスーパーコンピュータ上で並列計算を活用し、60台のコンピュータノードを用いて処理を高速化する。
• VisItのPython APIを完全に活用することで、再現可能性を確保し、既存の科学的ワークフローへの統合を実現する。
• 元のデータはそのままで、トランスファーファンクションのみを変更するため、データの改ざんを回避する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの画像類似度メトリクスは、ターゲット画像に一致するようにボリュームレンダリングパラメータを最適化するのに効果的か？
• RQ2 遺伝的アルゴリズムは、高次元のレンダリングパラメータ空間をどれほど効率的に探索し、視覚的に類似した結果を発見できるか？
• RQ3 このアプローチは、実世界の観測と一致する科学的シミュレーション内の視覚的特徴を自動で同定するプロセスを自動化できるか？
• RQ4 パラメータ集団の初期化（シーディング）は、最適化プロセスの収束速度と解の品質にどのような影響を与えるか？
• RQ5 レンダリング手法とカメラの視点は、最終的な出力品質と一貫性にどのような影響を及ぼすか？

主な発見

• 本システムは、シミュレーションデータとターゲット画像のみを入力として、Google Imagesのハリケーン写真と視覚的に一致するボリュームレンダリング画像を成功裏に生成した。
• 集団の初期化（シーディング）を施した場合、20世代で最小コスト0.012に収束し、非シーディング実験に比べて顕著に優れた性能を示した。
• シーディングなしの実験では、最良のコストは0.02に留まり、初期化が収束性と解の品質を向上させることを示した。
• ブルー・ウォーターズスーパーコンピュータ上で60台のコンピュータノードを用いて6〜7分で処理を完了し、スケーラビリティを実証した。
• レイトレーシングと3Dテクスチャリングでは異なる結果が得られたため、最適化と最終レンダリングの間でレンダリング手法を一貫させていなければならないことが示された。
• 本アプローチにより、元のデータを変更せずに、自動的かつ再現可能にレンダリングパラメータを選択可能となり、科学的データセットにおける視覚的検索を支援する。