[논문 리뷰] Towards DeepSpray: Using Convolutional Neural Network to post-process Shadowgraphy Images of Liquid Atomization

Geoffroy Chaussonnet, Christian Lieber외 7명|arXiv (Cornell University)|2019. 01. 01.

Fluid Dynamics and Heat Transfer참고 문헌 25인용 수 5

한 줄 요약

이 논문은 액체 분무에서 영상 후처리를 향상시키기 위해 컨볼루션 신경망(CNN)을 사용하는 것을 제안한다. 초점 불량, 배경의 비균일성, 구조물의 겹침 등의 과제를 다루며, 기본적인 데이터 증강 기법을 사용해 단지 15장의 수동으로 레이블이 붙은 이미지로 훈련된 YOLO 기반 검출기는 실험적 및 시뮬레이션 데이터에서 주요 분리 특징인 린스, 백스, 리미를 성공적으로 식별하였다. 이는 훈련 데이터가 제한된 상황에서도 강력한 일반화 능력과 내구성을 보여준다.

ABSTRACT

This technical report investigates the potential of Convolutional Neural Networks to post-process images from primary atomization. Three tasks are investigated. First, the detection and segmentation of liquid droplets in degraded optical conditions. Second, the detection of overlapping ellipses and the prediction of their geometrical characteristics. This task corresponds to extrapolate the hidden contour of an ellipse with reduced visual information. Third, several features of the liquid surface during primary breakup (ligaments, bags, rims) are manually annotated on 15 experimental images. The detector is trained on this minimal database using simple data augmentation and then applied to other images from numerical simulation and from other experiment. In these three tasks, models from the literature based on Convolutional Neural Networks showed very promising results, thus demonstrating the high potential of Deep Learning to post-process liquid atomization. The next step is to embed these models into a unified framework DeepSpray.

연구 동기 및 목표

• 초점 불량과 비균일 배경 등의 열악한 광학 조건에서 전통적인 샤도그래피 기반 방울 검출 기법의 한계를 해결하기 위해.
• 구형 방울을 필요로 하는 표준 기법들인 LDT와 PDA의 제약을 극복하기 위해, 초기 단계의 주요 분무 과정에서 실패하는 문제를 해결하기 위해.
• 주요 분무 과정에서 비구형 액체 구조물(린스, 백스, 리미)을 검출하고 특성화하기 위한 딥 러닝 프레임워크를 개발하기 위해.
• 훈련된 검출기가 다양한 실험 설정과 수치 시뮬레이션 간에 이식 가능함을 입증하기 위해.
• 액체 분무 영상의 후처리를 단순화하기 위한 통합 딥 러닝 툴박스, DeepSpray의 기초를 마련하기 위해.

제안 방법

• 2차원 샤도그래피 영상에서 액체 구조물을 식별하고 국소화하기 위해 YOLO 기반 객체 검출 모델을 사용하였다.
• 기본적인 데이터 증강 기법을 사용해 수동으로 15장의 실험 영상에 레이블을 붙인 최소한의 데이터셋으로 검출기를 훈련시켰다.
• 초점 불량 및 겹치는 구조물이 있는 열악한 광학 조건에서 방울을 검출하기 위해 모델을 적용하였다.
• 왜곡 효과를 모델링하기 위해 校정 영상에서 유도된 결정론적 상관도 맵을 사용하여 네트워크가 흐림 현상 이해에 기여하도록 하였다.
• R2-CNN과 YOLO 아키텍처를 활용해 겹치는 타원형의 기하학적 특성을 검출하기 위해 모델을 확장하였다.
• 다른 실험 설정(공기 보조 원통형 분무 분사)과 수치 시뮬레이션에 적용하여 일반화 능력을 검증하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 최소한의 훈련 데이터로 열악한 광학 조건에서 샤도그래피 영상에서 액체 방울을 검출하고 분할할 수 있는가?
• RQ2 시각적 정보가 감소했을 때, CNN 기반 검출기는 겹치는 타원형의 기하학적 파rameter를 얼마나 잘 외삽할 수 있는가?
• RQ3 실험적 평면형 프리필밍 분무 데이터로 훈련된 검출기는 동일한 설정의 수치 시뮬레이션에서 주요 분리 특징을 성공적으로 식별할 수 있는가?
• RQ4 공기 보조 원통형 분무 분사와 같은 다른 실험 설정으로의 일반화 능력은 얼마나 뛰어난가?
• RQ5 제한된 데이터로 훈련된 단일 검출기는 다양한 액체 분무 시나리오에서 린스, 백스, 리미와 같은 핵심 특징을 검출할 수 있는가?

주요 결과

• YOLO 기반 검출기는 단지 15장의 레이블이 붙은 훈련 영상로만 훈련되었음에도 불구하고 실험적 샤도그래피 영상에서 주요 분리 특징인 린스, 백스, 리미를 정확하게 검출하였다.
• 모델은 동일한 설정의 수치 시뮬레이션 결과에서 렌더링된 2차원 샤도그래피 영상에서도 유사한 특징을 성공적으로 검출하여, 동일한 설정의 합성 데이터로의 일반화 능력을 확인하였다.
• 이미징 기하학의 차이가 있었음에도 불구하고, 3차원 렌더링 수치 시뮬레이션에서 29개의 특징 중 22개를 검출하여 시점 및 조명 효과에 대한 부분적인 내구성을 보여주었다.
• 원통형 분무 분사에서 공기 보조 분무 조건을 적용한 실험에서도 총 29개의 특징 중 22개를 검출하여, 평면형 프리필밍 데이터로 훈련된 후에도 다양한 설정 간 이식 가능성을 입증하였다.
• 비교적 시각적 정보가 감소한 상황에서도 겹치는 타원형을 검출하고 그 기하학적 특성을 추정하는 데 뛰어난 성능을 보였다.
• 결과적으로 딥 러닝 모델이 최소한의 레이블 데이터로도 액체 분무 영상의 후처리를 크게 향상시킬 수 있으며, 특히 열악한 광학 조건에서 유의미한 성능을 발휘함을 확인하였다.