[論文レビュー] Towards DeepSpray: Using Convolutional Neural Network to post-process Shadowgraphy Images of Liquid Atomization

Geoffroy Chaussonnet, Christian Lieber+7 more|arXiv (Cornell University)|Jan 1, 2019

Fluid Dynamics and Heat Transfer参考文献 25被引用数 5

ひとこと要約

本稿では、ぼけ、不均一な背景、重複構造といった課題に対処するため、液体原子化におけるシャドウグラフィー画像の後処理を向上させるために畳み込みニューラルネットワーク（CNNs）の利用を提案する。基本的なデータ拡張を用いて15枚のアノテート済み画像での学習にとどまるが、YOLOベースの検出器は実験的およびシミュレートされたデータにおいて、主な破壊特徴（リガメント、バッグ、リム）を正確に同定し、限られた学習データにもかかわらず優れた汎用性と頑健性を示した。

ABSTRACT

This technical report investigates the potential of Convolutional Neural Networks to post-process images from primary atomization. Three tasks are investigated. First, the detection and segmentation of liquid droplets in degraded optical conditions. Second, the detection of overlapping ellipses and the prediction of their geometrical characteristics. This task corresponds to extrapolate the hidden contour of an ellipse with reduced visual information. Third, several features of the liquid surface during primary breakup (ligaments, bags, rims) are manually annotated on 15 experimental images. The detector is trained on this minimal database using simple data augmentation and then applied to other images from numerical simulation and from other experiment. In these three tasks, models from the literature based on Convolutional Neural Networks showed very promising results, thus demonstrating the high potential of Deep Learning to post-process liquid atomization. The next step is to embed these models into a unified framework DeepSpray.

研究の動機と目的

• ぼやけや不均一な背景といった光学的劣化状態下での従来のシャドウグラフィーに基づくドロップレット検出の限界を解消すること。
• 球形ドロップレットを前提とする標準的手法（LDT や PDA）が、初期段階の主な原子化段階で失敗するという制約を克服すること。
• 主な原子化における非球形液体構造（リガメント、バッグ、リム）を検出・特徴化するための深層学習フレームワークを開発すること。
• 訓練済み検出器の異なる実験的設定および数値シミュレーションへの適用可能性を実証すること。
• 液体原子化画像の後処理を簡素化するための統合的深層学習ツールボックス「DeepSpray」の基盤を構築すること。

提案手法

• 2次元シャドウグラフィー画像内の液体構造を同定・局所化するために、YOLOベースのオブジェクト検出モデルを採用した。
• 単純なデータ拡張技術を用いて、手動でアノテートされた15枚の実験的画像からなる最小限のデータセットでモデルを学習させた。
• ぼやけや重複構造を含む光学的劣化状態下でのドロップレット検出にモデルを適用した。
• ぼやけの影響をモデル化するため、キャリブレーション画像から得られる決定論的相関マップを活用し、ネットワークがぼやけの理解を深めるようにした。
• R2-CNNとYOLOアーキテクチャを統合して、重複する楕円の幾何的特徴を同定する拡張手法を採用した。
• 異なる実験的設定（エアアシスト円形ジェット）および数値シミュレーションへの適用により、汎用性を検証した。

実験結果

リサーチクエスチョン

• RQ1 最小限の学習データで、深層学習モデルは光学的劣化状態下のシャドウグラフィー画像においてドロップレットを正確に検出・セグメンテーションできるか？
• RQ2 視覚的情報が制限された状況下で、CNNベースの検出器は重複する楕円の幾何的パラメータをどの程度正確に外挿できるか？
• RQ3 平面プリフィルミング原子化の実験データで学習した検出器は、同じ設定の数値シミュレーションにおいて主な破壊特徴を正しく同定できるか？
• RQ4 異なる実験的設定（例：円形ジェットのエアアシスト原子化）に対しても、検出器の汎用性はどの程度高いか？
• RQ5 限られたデータで学習した1つの検出器は、多様な液体原子化状況においてリガメント、バッグ、リムといった重要な特徴を検出できるか？

主な発見

• YOLOベースの検出器は、わずか15枚のアノテート済み学習画像のみで、実験的シャドウグラフィー画像において主な破壊特徴（リガメント、バッグ、リム）を正確に検出できた。
• モデルは、同じ設定の数値シミュレーションから生成された2次元シャドウグラフィー画像に対しても同様の特徴を正しく検出でき、合成データへの汎用性を確認した。
• 撮影幾何の違いがあるにもかかわらず、3次元レンダリングされた数値シミュレーションでは29個中22個の特徴を検出できた。これは、視点や照明効果に対して部分的な頑健性を示している。
• 円形ジェットのエアアシスト原子化の実験的設定においても、29個中22個の特徴を正しく検出でき、平面プリフィルミングデータで学習した検出器が異なる設定にも適用可能であることを示した。
• 視覚的情報が制限された状況下でも、重複する楕円の検出およびその幾何的特徴の推定において、モデルは優れた性能を示した。
• 結果から、深層学習モデルが、特に光学的劣化状態下でも最小限のアノテートデータで液体原子化画像の後処理を著しく改善できることを確認した。