[논문 리뷰] Treelogy: A Novel Tree Classifier Utilizing Deep and Hand-crafted Representations

İlke Çuğu, Eren Şener외 5명|arXiv (Cornell University)|2017. 01. 28.

Smart Agriculture and AI참고 문헌 20인용 수 16

한 줄 요약

Treelogy는 깊이 있는 합성곱 신경망(CNN) 특징과 수작업으로 만든 영상 특징을 叶의 영상에 융합하는 새로운 트리 분류기이다. 57종의 종을 포함한 데이터셋에서 90.5%의 top-1 정확도를 달성하였다. 이 시스템은 CNN 기반의 세그멘테이션과 줄기 제거를 수행하며, fc6 레이어의 CNN 특징와 수작업 특징술을 결합하여 선형 서포트 벡터 머신(LSVM)을 훈련시켜, 순수한 CNN 또는 수작업 특징 방법만을 사용한 경우보다 뛰어난 성능을 보였다.

ABSTRACT

We propose a novel tree classification system called Treelogy, that fuses deep representations with hand-crafted features obtained from leaf images to perform leaf-based plant classification. Key to this system are segmentation of the leaf from an untextured background, using convolutional neural networks (CNNs) for learning deep representations, extracting hand-crafted features with a number of image processing techniques, training a linear SVM with feature vectors, merging SVM and CNN results, and identifying the species from a dataset of 57 trees. Our classification results show that fusion of deep representations with hand-crafted features leads to the highest accuracy. The proposed algorithm is embedded in a smart-phone application, which is publicly available. Furthermore, our novel dataset comprised of 5408 leaf images is also made public for use of other researchers.

연구 동기 및 목표

• 딥 러닝과 전통적인 영상 처리 특징을 모두 활용하여 고정확도의 트리 분류 시스템을 개발하기.
• 기존 방법들이 수작업 특징 또는 순수한 CNN에만 의존함으로써 미세한 종 간 차이를 놓칠 수 있는 한계를 해결하기.
• 미래 연구를 지원하기 위해 57종의 나무 종에 걸쳐 총 5,408장의 영상으로 구성된 대규모 사전 처리된 叶 영상 데이터셋을 구축하고 공개하기.
• 생태학자, 교육자, 자연 애호가들이 실생활에서 사용할 수 있도록 모바일 애플리케이션에 시스템을 구현하기.
• 특징 융합이 순수한 딥 러닝 또는 수작업 특징을 별도로 사용할 때보다 분류 성능을 향상시킨다는 것을 입증하기.

제안 방법

• 엔드 투 엔드 학습을 통해 깊이 있는 합성곱 신경망(CNN)을 활용해 무문자 배경에서 叶를 세그멘테이션하고 줄기를 제거하기.
• 곡률 기술자, 형태 기술자, 다중 척도 거리 행렬 등의 영상 처리 기법을 사용해 수작업 특징을 추출하기.
• 사전 훈련된 CNN(데이터셋에 맞게 미세조정됨)을 사용해 fc6 및 fc7 레이어에서 깊이 있는 표현을 추출하기.
• 깊이 있는 CNN 특징(feat. fc6 또는 fc7)과 수작업 특징 벡터를 결합하여 단일한 4152차원 동질 특징 벡터를 생성하기.
• 최종 분류를 위해 융합된 특징 벡터에 선형 서포트 벡터 머신(LSVM)을 훈련하기.
• 명시적인 가중치를 부여하지 않고도 LSVM을 통해 암묵적으로 가중 융합 전략을 적용하기.

실험 결과

연구 질문

• RQ1 딥 러닝 CNN 특징와 수작업 특징을 융합하면, 단독으로 사용할 경우보다 트리 종 분류 정확도를 향상시킬 수 있는가?
• RQ2 대규모이고 다양한 叶 영상 데이터셋에서 하이브리드 모델의 성능은 순수한 CNN 또는 수작업 특징 모델보다 어떻게 비교되는가?
• RQ3 다양한 출처에서 확보한 사전 처리된 고품질의 叶 영상 포함 여부가 모델의 일반화 능력과 재현 가능성에 얼마나 기여하는가?
• RQ4 이러한 하이브리드 모델을 통합한 모바일 애플리케이션이 현장에서 실시간으로 트리를 식별하는 데 실용적인가?
• RQ5 특징 융합이 고내부변동성과 저외부차별성을 보이는 어려운 데이터셋에서 더 나은 성능을 내는가?

주요 결과

• 수작업 특징과 fc6 레이어의 CNN 특징를 융합한 결과, 57종의 데이터셋에서 최고의 top-1 정확도 90.5%를 달성하였다.
• 순수한 CNN 모델은 84.62%의 top-1 정확도를 기록했고, 수작업 특징만을 사용한 경우 LSVM로 89.62%의 정확도를 달성하였다.
• fc6 특징와 수작업 특징의 조합은 개별 구성 요소를 모두 초월하여 성능을 향상시켰으며, 다중 모odal 특징 융합의 이점을 입증하였다.
• Flavia 데이터셋(32종, 1,907장의 영상)에서 융합 모델은 99.68%의 정확도를 기록하여 순수한 CNN의 98.44%를 초월하며 최신 기술 수준을 뛰어넘었다.
• CNN만을 사용한 시스템의 top-5 정확도는 97.58%였으며, 이는 모델의 높은 신뢰도를 시사하지만, top-1 정확도는 융합을 통해 최적화되었다.
• 공개된 5,408장의 사전 처리된 叶 영상으로 구성된 데이터셋은 향후 叶 기반 식물 분류 분야의 연구를 가속화할 것으로 기대된다.