[논문 리뷰] Fine-Grained Zero-Shot Learning with DNA as Side Information

Sarkhan Badirli, Zeynep Akata외 3명|arXiv (Cornell University)|2021. 09. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 20

한 줄 요약

이 논문은 미토콘드리아 DNA 바코드를 사용하여 클래스 계층을 모델링하고 미지의 클래스 분류를 향상시켜, 미세 분류 영역의 제로샷 학습(ZSL)을 위한 새로운 측면 정보 소스로 DNA를 제안한다. 저자들은 DNA로 학습된 임bedding을 활용한 계층적 베이지안 모델을 제안하며, 대규모 곤충 데이터셋에서 최신 기법들을 능가하고 CUB에서 단어 벡터와 맞먹는 성능을 보이며, 시각적 특성이나 단어 임베딩보다 생물학적으로 타당하고 확장 가능한 대안으로서 DNA의 우수성을 입증한다.

ABSTRACT

Fine-grained zero-shot learning task requires some form of side-information to transfer discriminative information from seen to unseen classes. As manually annotated visual attributes are extremely costly and often impractical to obtain for a large number of classes, in this study we use DNA as side information for the first time for fine-grained zero-shot classification of species. Mitochondrial DNA plays an important role as a genetic marker in evolutionary biology and has been used to achieve near-perfect accuracy in the species classification of living organisms. We implement a simple hierarchical Bayesian model that uses DNA information to establish the hierarchy in the image space and employs local priors to define surrogate classes for unseen ones. On the benchmark CUB dataset, we show that DNA can be equally promising yet in general a more accessible alternative than word vectors as a side information. This is especially important as obtaining robust word representations for fine-grained species names is not a practicable goal when information about these species in free-form text is limited. On a newly compiled fine-grained insect dataset that uses DNA information from over a thousand species, we show that the Bayesian approach outperforms state-of-the-art by a wide margin.

연구 동기 및 목표

• 시각적 특성이나 단어 임베딩이 텍스트나 형태학적 데이터가 제한될 경우 실용적이지 않은 상황에서 미세 분류 영역의 제로샷 종 분류 문제를 해결하기 위해.
• 특히 대규모이고 미세 분류된 분류군에 대해 생물학적으로 타당하고 매우 특정적인 측면 정보 소스로서 DNA를 제로샷 학습(ZSL)에서 클래스 유사성 모델링에 활용하기 위해.
• 보기 드문 종을 위한 대체 클래스를 DNA 유사성 기반으로 설정함으로써, 볼 수 있는 클래스를 초월한 일반화 능력을 향상시키기 위해 계층적 베이지안 모델을 개발하기 위해.
• 특히 미세 분류된 대규모 ZSL 환경에서 전통적인 의미론적 측면 정보(예: 단어 벡터, WordNet)보다 DNA 기반 측면 정보가 더 뛰어나다는 것을 입증하기 위해.
• CUB와 같은 벤치마크 데이터셋과 1,000종 이상의 종을 포함한 새로 구축한 대규모 곤충 데이터셋에서 모델을 검증하여 안정적인 성능을 보여주기 위해.

제안 방법

• 이 방법은 짧은 미토콘드리아 DNA 서열(예: COI 유전자)에서 CNN을 사용해 DNA 바코드 임베딩을 학습하고, 이를 측면 정보로 간주한다.
• 비선형 베이지안 모델을 제안하며, 이는 DNA 유사성 기반으로 보기에 없는 클래스가 대체 클래스에 할당되며, 국소 사전확률이 클래스 중심을 정의한다.
• 모델은 두 개의 초모수인 κ₀와 κ₁을 사용하여 각 국소 사전확률 내에서 대체 클래스 중심과 실제 클래스 중심의 산산각도를 제어한다.
• 클래스 예측은 베이지안 추론을 통해 수행되며, 이미지가 어떤 클래스에 속할 가능성은 그 클래스 중심과의 거리 및 사전 분포 기반으로 계산된다.
• 모델은 확률적 경사 하강법을 사용해 엔드 투 엔드로 훈련되며, 볼 수 있는 클래스 정확도를 최대화하면서 DNA 기반 계층을 통해 볼 수 없는 클래스로 지식 전이를 가능하게 한다.
• 이 접근법은 CUB 데이터셋과 1,000종 이상의 종을 포함한 새로운 곤충 데이터셋에서 평가되며, 비교를 위해 DNA 임베딩과 단어 벡터를 모두 사용한다.

실험 결과

연구 질문

• RQ1 DNA 바코드는 종 분류의 미세 분류 제로샷 학습에서 신뢰할 수 있고 효과적인 측면 정보 소스로 기능할 수 있는가?
• RQ2 미세 분류 데이터셋에서 단어 벡터 기반 모델과 비교해 DNA 기반 계층적 베이지안 모델의 제로샷 정확도는 어떻게 되는가?
• RQ3 높은 수준의 미세 분류 분류군 설정에서, DNA 유사성은 의미론적 또는 시각적 특성보다 더 나은 클래스 계층 모델링을 가능하게 하는가?
• RQ4 모델 성능은 초모수 κ₀와 κ₁에 얼마나 민감한가? 최적의 설정은 무엇이며, 이는 볼 수 없는 클래스 정확도를 최대화하는가?
• RQ5 짧은 서열에서 학습된 DNA 임베딩은 거대한 텍스트 코퍼스에서 학습된 단어 벡터와 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• CUB 데이터셋에서, 30,000개 미만의 짧은 미토콘드리아 서열에서 학습된 DNA 임베딩은 거대한 텍스트 코퍼스에서 학습된 단어 벡터와 경쟁하는 제로샷 분류 성능을 달성했다.
• 새로 구축한 1,000종 이상의 곤충 데이터셋에서 DNA 측면 정보를 사용한 계층적 베이지안 모델은 최신 기법들을 크게 능가했으며, 특히 볼 수 없는 클래스 정확도에서 두각을 나타냈다.
• 모델 성능은 초모수 κ₁에 매우 민감했으며, κ₁ ∈ [0.1, 1]일 때 최적의 볼 수 없는 클래스 정확도가 달성되어, 국소 사전확률 내에서 실제 클래스 중심의 중간 수준의 산산각도가 매우 중요함을 시사했다.
• κ₁가 너무 작거나 너무 클 경우, 비현실적인 사전 가정으로 인해 성능이 급격히 떨어졌으며, 이는 적절한 초모수 튜닝의 중요성을 강조했다.
• 훈련 및 테스트 종이 상호 배타적인 경우에도 닫힌 집합 분류에서 안정적인 성능을 보였으며, DNA 임베딩의 특정성과 일반화 능력을 입증했다.
• 제거 실험을 통해 DNA 기반 계층과 국소 사전확률의 포함 여부가 성능 향상에 크게 기여했으며, 베이지안 프레임워크가 생물학적 유사성을 효과적으로 활용해 지식 전이를 이끌어냈다.