[논문 리뷰] High-Throughput Phenotyping using Computer Vision and Machine Learning

Vivaan Singhvi, Langalibalele Lunga외 6명|arXiv (Cornell University)|2023. 01. 01.

Cell Image Analysis Techniques인용 수 1

한 줄 요약

이 연구는 레이블이 부여된 이미지를 사용하여 포플러 트리코카르파 잎의 고속 형질 측정을 위한 컴퓨터 비전 및 머신러닝 파이프라인을 개발하였다. 레이블 추출에 대해 94.31%의 OCR 정확도, 잎 형상 분류에 대해 평균 62.82%의 정확도, 가뭄 처리 예측에 대해 60.08%의 정확도를 달성하였다. 이 방법은 자동화된 데이터 수집 및 형질 분석을 가능하게 하여 농업 분야에서 확장 가능한 식물 형질 측정의 강력한 잠재력을 보여주었다.

ABSTRACT

High-throughput phenotyping refers to the non-destructive and efficient evaluation of plant phenotypes. In recent years, it has been coupled with machine learning in order to improve the process of phenotyping plants by increasing efficiency in handling large datasets and developing methods for the extraction of specific traits. Previous studies have developed methods to advance these challenges through the application of deep neural networks in tandem with automated cameras; however, the datasets being studied often excluded physical labels. In this study, we used a dataset provided by Oak Ridge National Laboratory with 1,672 images of Populus Trichocarpa with white labels displaying treatment (control or drought), block, row, position, and genotype. Optical character recognition (OCR) was used to read these labels on the plants, image segmentation techniques in conjunction with machine learning algorithms were used for morphological classifications, machine learning models were used to predict treatment based on those classifications, and analyzed encoded EXIF tags were used for the purpose of finding leaf size and correlations between phenotypes. We found that our OCR model had an accuracy of 94.31% for non-null text extractions, allowing for the information to be accurately placed in a spreadsheet. Our classification models identified leaf shape, color, and level of brown splotches with an average accuracy of 62.82%, and plant treatment with an accuracy of 60.08%. Finally, we identified a few crucial pieces of information absent from the EXIF tags that prevented the assessment of the leaf size. There was also missing information that prevented the assessment of correlations between phenotypes and conditions. However, future studies could improve upon this to allow for the assessment of these features.

연구 동기 및 목표

• 컴퓨터 비전 기반의 OCR을 활용해 식물 이미지 내 물리적 흰색 레이블에서 처리 조건, 유전자형, 실험 메타데이터를 자동으로 추출하는 것.
• 컴퓨터 비전과 머신러닝을 활용해 잎의 형상, 색상, 갈색 반점 등의 형상 특징을 분류하는 것.
• 형상 분류 결과를 기반으로 식물 처리 조건(가뭄 대비 대조군)을 예측하는 것.
• EXIF 메타데이터가 잎 크기 추정 및 형질-환경 상관관계 분석에 활용 가능한지 평가하는 것.
• 경량화된 사전 학습 모델을 활용한 자원 제약이 있는 환경에서의 확장 가능한 형질 측정 파이프라인의 실현 가능성 평가

제안 방법

• 회전 또는 부분적 가림이 있는 경우에도 안정적인 텍스트 추출을 위해 PaddleOCR를 적용하여 식물 이미지 내 흰색 레이블에서 텍스트를 추출하였다.
• 모델 미세조정 없이도 정확한 잎 인스턴스 세그멘테이션을 수행할 수 있는 제로샷 기반의 Segment Anything Model (SAM)을 사용하였다.
• Random Forest를 포함한 사전 학습된 분류기들을 활용해 분할된 이미지의 특징을 기반으로 잎의 형상 특징을 분류하였다.
• 카메라 위치, 초점 거리, 방향성 등의 EXIF 메타데이터를 추출하고 분석하여 잎 크기 추정 및 공간적 맥락을 파악하였다.
• OCR를 통해 추출한 레이블 정보와 이미지 기반의 형상 특징을 통합하여 처리 조건 예측 모델을 훈련시켰다.
• 실제 메타데이터가 확인된 Oak Ridge National Laboratory 소속 1,672장의 레이블이 부여된 이미지 데이터셋을 사용해 결과를 검증하였다.

실험 결과

연구 질문

• RQ1 식물 이미지 내 물리적 레이블에서 처리 조건, 블록, 행, 위치, 유전자형 정보를 정확하게 OCR으로 추출할 수 있는가?
• RQ2 이미지 특징 기반으로 머신러닝 모델이 잎의 형상(형태, 색상, 갈색 반점)을 신뢰성 있게 분류할 수 있는가?
• RQ3 형상 분류 결과만을 기반으로 예측 모델이 식물 처리 조건(가뭄 또는 대조군)을 정확히 추론할 수 있는가?
• RQ4 EXIF 태그를 활용해 잎 크기를 추정하거나 형질-환경 상관관계 분석에 활용할 수 있는가?
• RQ5 PaddleOCR 및 SAM과 같은 경량 사전 학습 모델이 최소한의 데이터 특화 조정으로 고속 형질 측정에 효과적으로 적용될 수 있는가?

주요 결과

• OCR 모델은 레이블이 부여된 식물 이미지에서 비-null 텍스트를 94.31%의 정확도로 추출하여 자동 스프레드시트 생성을 가능하게 하였다.
• 형상 특징(형태, 색상, 갈색 반점)에 대한 잎 형상 분류 모델은 평균 62.82%의 정확도를 달성하였다.
• 형상 특징을 기반으로 한 처리 조건 예측 모델은 가뭄 또는 대조군 조건을 60.08%의 정확도로 정확히 분류하였다.
• 초점 거리 및 거리 메타데이터가 누락되어 EXIF 태그로는 잎 크기 추정이 불충분했으며, 기하학적 추론에 제한을 받았다.
• 토양 및 기상 데이터와 같은 환경 메타데이터가 부재하여, 모델의 잠재력에도 불구하고 형질-환경 상관관계 분석이 불가능했다.
• PaddleOCR 및 SAM과 같은 사전 학습 모델의 사용은 최소한의 미세조정으로도 빠르고 정확하며 강력한 형질 측정을 가능하게 하여, 확장 가능한 잠재력을 명확히 보여주었다.