[논문 리뷰] Detection and Tracking of Liquids with Fully Convolutional Networks

Connor Schenck, Dieter Fox|arXiv (Cornell University)|2016. 06. 20.

Advanced Chemical Sensor Technologies참고 문헌 13인용 수 14

한 줄 요약

이 논문은 실시간으로 유체를 탐지하고 추적하기 위해 완전 컨volution 네트워크(FCN)와 장기 단기 기억(LSTM) 유닛을 결합한 방법을 제안한다. 이는 현실적인 유체 시뮬레이터에서 유도된 합성 데이터를 활용한다. LSTM 기반 모델은 단일 프레임 및 다중 프레임 네트워크보다 효과적으로 시간 정보를 통합하여, 가림을 당해도 유체 인식이 안정적으로 이루어지도록 한다.

ABSTRACT

Recent advances in AI and robotics have claimed many incredible results with deep learning, yet no work to date has applied deep learning to the problem of liquid perception and reasoning. In this paper, we apply fully-convolutional deep neural networks to the tasks of detecting and tracking liquids. We evaluate three models: a single-frame network, multi-frame network, and a LSTM recurrent network. Our results show that the best liquid detection results are achieved when aggregating data over multiple frames, in contrast to standard image segmentation. They also show that the LSTM network outperforms the other two in both tasks. This suggests that LSTM-based neural networks have the potential to be a key component for enabling robots to handle liquids using robust, closed-loop controllers.

연구 동기 및 목표

• 투명성, 가림, 동적 행동으로 인해 어려운 유체에 대한 인식과 추론 문제를 해결한다.
• 실제 유체 시뮬레이터와 렌더링 엔진을 사용하여 대규모로 정밀한 픽셀 수준의 레이블이 부여된 데이터를 생성하는 방법을 개발한다.
• 다중 영상 프레임을 통해 유체를 탐지하고 추적하기 위한 딥 러닝 아키텍처—특히 FCN과 LSTM—을 조사한다.
• 재귀 네트워크를 통한 시간적 통합이, 특히 유체가 부분적 또는 완전히 가려졌을 때도 신뢰할 수 있는 유체 인식을 위해 필수적임을 입증한다.
• 로봇이 유체 조작 작업 중에 순환 제어를 수행할 수 있도록, 순수한 시각 센서 입력만으로도 가능하도록 한다.

제안 방법

• 물리 기반의 유체 시뮬레이터와 렌더링 엔진을 사용하여 450만 개 이상의 레이블이 부여된 이미지를 포함한 합성 데이터셋을 생성하였다. 이는 실제적인 RGB 영상과 픽셀 수준의 정답 레이블을 제공한다.
• 세 가지 유형의 딥 러닝 모델을 훈련시켰다: 단일 프레임 FCN, 약 1초 분량의 영상 처리를 위한 다중 프레임 FCN, 그리고 재귀 메모리로 시간 정보를 통합하는 LSTM-FCN.
• LSTM 구성 요소에서 완전 연결 층을 1×1 컨볼루션 레이어로 대체하여 공간적 및 시간적 일관성을 유지하는 엔드 투 엔드 훈련을 가능하게 하였다.
• 유체, Bowls, 컵에 대한 이진 픽셀 수준의 레이블을 알파 채널과 함께 사용하여 세분화 및 추적에 대한 정확한 지도 학습을 가능하게 하였다.
• 정밀도-재현율 곡선을 사용하여 다양한 임계값 설정에 따른 정합성 오차에 대한 내성 평가를 수행하였으며, 국소화 오차에 대한 저항력을 측정하였다.
• 영상 기반 평가 프로토콜을 활용하여 시각적으로 추적 성능을 검증하였으며, 가림 및 유체가 없는 경우를 포함한 시퀀스에서의 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 투명하고 부분적으로 가려진 유체를 실시간으로 원시 RGB 영상에서 탐지할 수 있는가?
• RQ2 단일 프레임 세분화에 비해 다중 프레임 영상에서의 정보 통합이 유체 탐지 성능을 향상시키는가?
• RQ3 LSTM과 같은 재귀 신경망이 특히 가림 상황에서 유체 상태를 효과적으로 추적할 수 있는가?
• RQ4 LSTM 기반 네트워크의 성능은 탐지 및 추적 작업 모두에서 비재귀 모델에 비해 어떻게 비교되는가?
• RQ5 실제 유체 시뮬레이터에서 유도된 합성 데이터는 실제 세계의 유체 인식 작업으로의 일반화를 어느 정도 가능하게 하는가?

주요 결과

• LSTM 기반 CNN이 단일 프레임 및 다중 프레임 FCN 모델보다 탐지 및 추적 성능에서 가장 높은 성능을 보였다.
• 메모리가 없는 다중 프레임 FCN 모델도 놀랍게 잘 성능을 냈으며, 운동 및 컵 방향성과 같은 공간-시간적 신호가 탐지에 기여함을 시사한다.
• 단일 프레임 FCN 모델은 조명 및 반사 조건 변화 상황에서 충분한 맥락이 부족해 유체를 안정적으로 탐지하지 못했다.
• LSTM 네트워크는 가림 상황에서도 유체 존재를 지속적으로 인식하여, 안정적인 추적을 위해 메모리가 필수적임을 입증하였다.
• 영상 결과에서 LSTM 모델은 유체가 없는 시퀀스에서 잘못된 양성 결과를 유발하지 않아, 다중 프레임 모델이 잘못된 존재를 유추하는 것과 대비된다.
• 이 연구는 시간적 통합이 투명하고 동적인 유체에 대해 신뢰할 수 있는 인식을 위해 필수적임을 확인하였으며, 정적 이미지 세분화만으로는 부족함을 입증한다.