[論文レビュー] Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks

Simon Kallweit, Thomas Müller+3 more|arXiv (Cornell University)|Sep 15, 2017

Computer Graphics and Visualization Techniques参考文献 57被引用数 44

ひとこと要約

この論文では、事前に計算された雲の散乱データ上でラジアンス予測ニューラルネットワーク（RPNN）を訓練することにより、高速で高品質な大気中の雲レンダリングのためのディープラーニングベースの手法を提案する。この手法は、光の方向と視線方向に対する雲の幾何的構造に関する階層的3次元記述子を段階的に深層ネットワークに供給し、残差接続を用いることで多次散乱ラジアンスを予測する。これにより、秒〜数分でほぼ写真撮影に匹敵する結果が得られ、パストレーシングに比べて著しく高速でありながらアニメーション用に必要な時間的安定性を維持することができる。

ABSTRACT

We present a technique for efficiently synthesizing images of atmospheric clouds using a combination of Monte Carlo integration and neural networks. The intricacies of Lorenz-Mie scattering and the high albedo of cloud-forming aerosols make rendering of clouds---e.g. the characteristic silverlining and the "whiteness" of the inner body---challenging for methods based solely on Monte Carlo integration or diffusion theory. We approach the problem differently. Instead of simulating all light transport during rendering, we pre-learn the spatial and directional distribution of radiant flux from tens of cloud exemplars. To render a new scene, we sample visible points of the cloud and, for each, extract a hierarchical 3D descriptor of the cloud geometry with respect to the shading location and the light source. The descriptor is input to a deep neural network that predicts the radiance function for each shading configuration. We make the key observation that progressively feeding the hierarchical descriptor into the network enhances the network's ability to learn faster and predict with high accuracy while using few coefficients. We also employ a block design with residual connections to further improve performance. A GPU implementation of our method synthesizes images of clouds that are nearly indistinguishable from the reference solution within seconds interactively. Our method thus represents a viable solution for applications such as cloud design and, thanks to its temporal stability, also for high-quality production of animated content.

研究の動機と目的

• 高アルベドで多次散乱が顕著な雲のレンダリングにおいて、モンテカルロパストレーシングの計算非効率性を解消すること。
• 速度を求めるあまりに視覚的忠実度を犠牲にする拡散ベースの近似手法の限界を克服すること。
• アニメーションやインタラクティブデザインなどの応用分野におけるリアルタイムかつプロダクション品質の雲レンダリングを可能にすること。
• レンダータイムにすべての光輸送をシミュレートすることなく、雲の例示から複雑な散乱挙動を学習するデータ駆動型手法を開発すること。

提案手法

• パストレーシングを用いて数十の雲の例示についてラジアンス分布を事前に計算し、学習データセットを作成する。
• 各シェーディングポイントに対して、光源および視線方向に対する雲の幾何的構造に関する階層的3次元記述子を抽出する。
• 階層的記述子を段階的に深層ニューラルネットワークに供給することで、特徴の学習と予測精度を向上させる。
• 残差接続とミップマッピングを用いてネットワークの性能と安定性を向上させる。
• 単一散乱および可視性のためのモンテカルロサンプリングと、多次散乱のためのニューラル予測を組み合わせることで分散を低減する。
• 各シェーディング設定に対して、全方向のラジアンス関数を予測するようにネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 レンダータイムにすべての光路をシミュレートせずに、ディープニューラルネットワークが雲における多次散乱ラジアンスを正確に予測できるか？
• RQ2 フラットな入力と比較して、階層的幾何的記述子を段階的に供給することで、ネットワークの性能と予測精度が向上するか？
• RQ3 従来のパストレーシングと比較して、著しく短いレンダータイムでほぼ写真的品質の結果を得られるか？
• RQ4 非雲形状の物体や異なる照明条件下でも、この手法は十分に一般化できるか？
• RQ5 アニメーション用の雲シーケンスにおいて、この手法は時間的安定性をどれほど維持できるか？

主な発見

• この手法は、パストレーシングの基準と見分けがつかない雲の画像を生成し、知覚的品質が高精度なシミュレーションと一致する。
• GPU実装により、完全なパストレーシングで数時間もかかっていたレンダータイムが、秒〜数分にまで短縮された。
• 階層的記述子を段階的に供給することで、学習効率と予測精度が向上し、特に係数が少ない場合に顕著である。
• アニメーションシーケンス全体で強い時間的安定性を維持しており、映画やアニメーション制作での利用が可能である。
• ドメインシフトのため、非雲形状の物体には一般化がうまくいかず、表面下散乱が過大評価され、遠方の影が不正確になる。
• 残差接続とミップマッピングは、トレーニングおよび推論の両方において、ネットワークの性能と収束速度を顕著に向上させる。