[논문 리뷰] Semi-Supervised Recognition under a Noisy and Fine-grained Dataset

Cheng Cui, Zhi Ye외 8명|arXiv (Cornell University)|2020. 06. 18.

Advanced Neural Network Applications참고 문헌 9인용 수 4

한 줄 요약

이 논문은 노이즈가 많고 라벨이 제한된 조건에서 세분화된 새 인식을 위한 준지도 학습 접근법을 제안하며, 가짜 라벨링과 하이브리드 일반 및 세분화된 인식 모델을 조합한다. PaddleClas를 사용해 모델을 훈련하고 가짜 라벨 마이닝을 통해 무라벨 데이터를 활용함으로써, 이 방법은 FGVC7 대회에서 3등을 기록하여 미세한 시각적 차이와 데이터 노이즈를 효과적으로 다룰 수 있음을 입증한다.

ABSTRACT

Simi-Supervised Recognition Challenge-FGVC7 is a challenging fine-grained recognition competition. One of the difficulties of this competition is how to use unlabeled data. We adopted pseudo-tag data mining to increase the amount of training data. The other one is how to identify similar birds with a very small difference, especially those have a relatively tiny main-body in examples. We combined generic image recognition and fine-grained image recognition method to solve the problem. All generic image recognition models were training using PaddleClas . Using the combination of two different ways of deep recognition models, we finally won the third place in the competition.

연구 동기 및 목표

• 최소한의 라벨 데이터와 높은 노이즈 수준이 있는 세분화된 새 인식의 과제를 해결한다.
• 준지도 학습 환경에서 대규모 무라벨 데이터를 효과적으로 활용해 모델 일반화 능력을 향상시킨다.
• 작은 클래스 간 차이를 보이는 매우 유사한 시각적 특징을 가진 새 종을 구분하는 데 어려움을 해결한다.
• 일반 이미지 인식 및 세분화된 인식 기법을 통합해 특징 구분 능력을 향상시킨다.
• 제한된 애너테이션과 노이즈가 많은 데이터 조건에서 실제 대회 환경에서 높은 성능을 달성한다.

제안 방법

• 훈련 과정에 무라벨 데이터를 마이닝하고 통합하기 위해 가짜 라벨링을 사용하여 효과적인 훈련 데이터 크기를 증가시켰다.
• 사전 훈련된 일반 이미지 인식 모델과 세분화된 인식 아키텍처를 조합하여 특징 학습 능력을 향상시켰다.
• 모든 일반 모델을 컴퓨터 비전을 위한 딥러닝 라이브러리인 PaddleClas를 사용해 훈련시켰다.
• 일반적이고 세분화된 시각적 특징을 동시에 최적화하기 위해 듀얼 스트림 모델 설계를 사용했다.
• 노이즈가 많은 예시에 대한 강건성을 향상시키기 위해 데이터 증강 및 자기 훈련 전략을 적용했다.
• 훈련 중에 높은 신뢰도의 가짜 라벨을 필터링하고 선택하기 위해 모델 신뢰도 점수를 활용했다.

실험 결과

연구 질문

• RQ1 세분화된 인식에 있어 준지도 학습 환경에서 무라벨 데이터를 어떻게 효과적으로 활용할 수 있는가?
• RQ2 일반 및 세분화된 인식 모델을 조합했을 때 노이즈가 많은 데이터 상황에서 성능에 어떤 영향을 미치는가?
• RQ3 딥러닝을 사용해 새 종 간의 미세한 클래스 간 차이를 어떻게 신뢰성 있게 구분할 수 있는가?
• RQ4 가짜 라벨의 품질이 준지도 학습 세분화된 분류에서 어떤 역할을 하는가?
• RQ5 하이브리드 모델 아키텍처는 낮은 지도 학습, 높은 노이즈 상황에서 단일 아키텍처 모델보다 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 FGVC7 대회에서 3등을 기록하여 도전적인 조건에서도 뛰어난 성능을 보였다.
• 가짜 라벨링 덕분에 높은 신뢰도 예측을 통해 효과적인 훈련 세트를 확장함으로써 모델 정확도가 크게 향상되었다.
• 일반 및 세분화된 인식 구성 요소를 조합한 하이브리드 모델 아키텍처가 단일 아키텍처 기반 모델보다 성능이 뛰어났다.
• PaddleClas의 사용은 일반 모델의 효율적이고 안정적인 훈련을 가능하게 하여 전체 성능에 기여했다.
• 이 방법은 노이즈가 많은 애너테이션과 새 종 간의 미세한 시각적 차이에 대해 강건성을 보였다.
• 높은 신뢰도의 가짜 라벨은 오류 전파 없이 성능 향상을 유지하는 데 핵심적인 역할을 했다.