[논문 리뷰] Sparse Coral Classification Using Deep Convolutional Neural Networks

Mohamed Elawady|arXiv (Cornell University)|2015. 11. 29.

Coral and Marine Ecosystems StudiesEnvironmental Science참고 문헌 4인용 수 22

한 줄 요약

이 논문은 복소 신경망(CNN)을 사용한 희박한 딥러닝 프레임워크를 제안하여 수중 영상에서 자동으로 산호 종을 분류한다. 텍스처 및 형상 특징(WLD, PC, ZCA)을 색상 채널과 통합하고 전처리를 통해 영상을 향상시킨다. 이는 두 가지 새로운 데이터셋—모레아 레이블링 산호 데이터셋과 새로운 대서양 수심 깊은 산호 데이터셋—에서 분류 정확도를 향상시켰으며, 수중 산호 영상 분류에 CNN을 적용한 최초의 사례이다.

ABSTRACT

Autonomous repair of deep-sea coral reefs is a recent proposed idea to support the oceans ecosystem in which is vital for commercial fishing, tourism and other species. This idea can be operated through using many small autonomous underwater vehicles (AUVs) and swarm intelligence techniques to locate and replace chunks of coral which have been broken off, thus enabling re-growth and maintaining the habitat. The aim of this project is developing machine vision algorithms to enable an underwater robot to locate a coral reef and a chunk of coral on the seabed and prompt the robot to pick it up. Although there is no literature on this particular problem, related work on fish counting may give some insight into the problem. The technical challenges are principally due to the potential lack of clarity of the water and platform stabilization as well as spurious artifacts (rocks, fish, and crabs). We present an efficient sparse classification for coral species using supervised deep learning method called Convolutional Neural Networks (CNNs). We compute Weber Local Descriptor (WLD), Phase Congruency (PC), and Zero Component Analysis (ZCA) Whitening to extract shape and texture feature descriptors, which are employed to be supplementary channels (feature-based maps) besides basic spatial color channels (spatial-based maps) of coral input image, we also experiment state-of-art preprocessing underwater algorithms for image enhancement and color normalization and color conversion adjustment. Our proposed coral classification method is developed under MATLAB platform, and evaluated by two different coral datasets (University of California San Diego's Moorea Labeled Corals, and Heriot-Watt University's Atlantic Deep Sea).

연구 동기 및 목표

• 자율 수중 시스템을 개발하여 AUV와 머신 비전을 활용해 산호초 복구를 수행한다.
• 암흑, 낮은 시야, 잡음이 많은 수중 영상에서 암석과 해양 생물 등의 잡음으로 인해 산호 종을 분류하는 과제를 해결한다.
• 깊은 바다 및 浅수심 환경에서 희박한 산호 분류를 위한 강력한 지도 기반 딥러닝 프레임워크를 구축한다.
• 수중 산호 연구를 지원하기 위해 대서양 수심 깊은 산호의 새로운 레이블링 데이터셋을 제안한다.
• 다중 채널 특징 융합 및 고급 이미지 전처리 기법을 통해 분류 성능을 향상시킨다.

제안 방법

• 레이블링된 산호 점 주변의 크기가 변하는 영역을 처리하기 위해 하이브리드 패치 기반의 CNN 아키텍처를 활용한다.
• 공간적 색상 채널과 함께 보조 특징 맵(WLD, PC, ZCA-화이트닝)을 통합하여 입력 표현을 풍부하게 한다.
• 최신 수중 영상 강화 기법을 적용하여 색상 정규화 및 히스토그램 균형화를 수행한다.
• 모든 데이터셋 간의 입력 이미지 데이터 표준화를 위해 최소-최대 및 z-스코어 정규화를 사용한다.
• 과적합을 방지하기 위해 조기 정지 기법을 사용한 백프로파게이션으로 CNN을 훈련한다. 특히 MLC 데이터셋에서 효과적이다.
• 은닉층 용량, 특징 맵, 정규화 방법에 대한 분석 실험을 통해 네트워크 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망은 도전적인 수중 영상 조건에서 산호 종을 효과적으로 분류할 수 있는가?
• RQ2 보조 텍스처 및 형상 특징(WLD, PC, ZCA)은 색상만 사용하는 입력보다 분류 정확도를 얼마나 향상시키는가?
• RQ3 이미지 전처리(색상 정규화, 강화)는 산호 분류 성능에 어떤 영향을 미치는가?
• RQ4 하이브리드 패치 기반 전략과 다중 채널 입력 데이터는 다양한 산호 종류와 수심에서의 모델 일반화에 어떤 영향을 미치는가?
• RQ5 희박한 산호 분류를 위한 최적의 네트워크 하이퍼파라미터와 아키텍처 구성은 무엇인가?

주요 결과

• 다중 채널 입력(색상 + 텍스처/형상 특징)을 사용한 제안된 CNN은 기준 색상 전용 모델보다 높은 분류 정확도를 달성했다.
• 이미지 전처리, 특히 색상 정규화 및 강화 기법이 모레아 레이블링 산호 및 대서양 수심 깊은 산호 데이터셋 양쪽에서 성능 향상에 크게 기여했다.
• MLC 데이터셋에서 30번째 에포크 이후 과적합 현상이 관찰되어 정규화 또는 아키텍처 제약 조건이 필요하다는 점을 시사했다.
• ADS 데이터셋에서 훈련 오차와 테스트 오차가 35번째 에포크 이후 정체되었으며, 현재 학습률과 아키텍처로 수렴하는 것으로 나타났다.
• 하이브리드 패치 전략은 크기가 다른 산호 영역에서 다중 척도 특징 추출을 효과적으로 가능하게 했다.
• 대서양 수심 깊은 산호 데이터셋의 도입은 냉수 산호 분류의 새로운 기준이 되었으며, 향후 수중 로봇 기반 연구를 지원한다.