[논문 리뷰] Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach

Timnit Gebru, Judy Hoffman외 1명|arXiv (Cornell University)|2017. 09. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 8

한 줄 요약

이 논문은 실세계 환경에서의 세분화된 인식을 위한 다중 작업 도메인 적응 프레임워크를 제안하며, 카테고리 간 공유 속성을 활용하여 일반화 능력을 향상시킨다. 공통된 특성과 함께 카테고리 및 속성 수준의 적응을 동시에 학습시킴으로써, 109만张의 이미지와 2,657개의 카테고리로 구성된 대규모 자동차 데이터셋에서 준지도 학습 환경에서 정확도를 4.1%에서 19.1%로 향상시켰다.

ABSTRACT

While fine-grained object recognition is an important problem in computer vision, current models are unlikely to accurately classify objects in the wild. These fully supervised models need additional annotated images to classify objects in every new scenario, a task that is infeasible. However, sources such as e-commerce websites and field guides provide annotated images for many classes. In this work, we study fine-grained domain adaptation as a step towards overcoming the dataset shift between easily acquired annotated images and the real world. Adaptation has not been studied in the fine-grained setting where annotations such as attributes could be used to increase performance. Our work uses an attribute based multi-task adaptation loss to increase accuracy from a baseline of 4.1% to 19.1% in the semi-supervised adaptation case. Prior do- main adaptation works have been benchmarked on small datasets such as [46] with a total of 795 images for some domains, or simplistic datasets such as [41] consisting of digits. We perform experiments on a subset of a new challenging fine-grained dataset consisting of 1,095,021 images of 2, 657 car categories drawn from e-commerce web- sites and Google Street View.

연구 동기 및 목표

• 정제된 데이터셋에서 학습된 모델이 실세계 환경에서 성능이 떨어지는 도메인 이동 문제를 해결하기 위해.
• 실세계 이미지의 레이블링 비용이 높기 때문에, 전자상거래 사이트와 현장 가이드에서 기존에 존재하는 저비용 레이블링 데이터를 활용하기 위해.
• 타겟 도메인의 일부 카테고리에만 레이블이 존재하지만, 많은 카테고리에 걸쳐 속성이 존재하는 준지도 적응 환경을 지원하기 위해.
• 세분화된 카테고리 간의 계층적 관계를 공유 속성을 통해 활용하여 지식 전이를 향상시키기 위해.
• 전자상거래 및 스트리트 뷰 자료에서 유래한 109만 장의 이미지와 2,657개의 자동차 카테고리로 구성된 대규모 벤치마크를 구축하기 위해.

제안 방법

• 공통된 CNN 아키텍처 내에서 카테고리 수준 및 속성 수준의 분류를 동시에 최적화하는 다중 작업 학습 목표를 제안한다.
• 공통의 특징 인코더를 사용하고, 카테고리 및 속성 예측을 위한 별도의 헤드를 적용하며, 소스 및 타겟 도메인 간의 특징를 정렬하기 위해 도메인 적대적 손실을 적용한다.
• 소스 모델을 정규화하고 타겟 도메인으로의 일반화 능력을 향상시키기 위해 속성 기반의 적응 손실을 도입한다.
• 타겟 도메인에서 속성 레이블이 가용할 경우, 카테고리 레이블이 희소한 상황에서도 학습을 이끄는 준지도 적응을 적용한다.
• 특성(예: 차체 유형, 제조사)은 세분화된 카테고리보다 더 일관되게 레이블링되어 있기 때문에, 특정 클래스가 보이지 않더라도 전이가 가능하다는 점을 활용한다.
• 소스 데이터에 대한 지도 학습 손실과 도메인 간 분포 이동을 최소화하기 위한 적대적 도메인 정렬을 조합하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 공유 속성을 활용한 다중 작업 적응이, 레이블이 제한된 실세계 타겟 도메인에서 세분화된 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 속성 수준과 카테고리 수준에서의 공동 학습이 도메인 이동 문제를 줄이는 데 있어 단일 작업 적응보다 어떻게 더 효과적인가?
• RQ3 이 방법은 자동차 데이터셋 외에도 워드넷에서 유래한 계층적 레이블을 가진 다른 세분화된 도메인으로 일반화 가능한가?
• RQ4 성능 향상 정도가 특히 저샷 상황에서 클래스당 레이블 예제 수에 얼마나 의존하는가?
• RQ5 준지도 적응 환경에서 카테고리 수준의 레이블이 부족할 경우, 속성 수준의 감독이 이를 보완할 수 있는가?

주요 결과

• 제안된 다중 작업 적응 방법은 자동차 데이터셋에서 준지도 적응 환경에서 0-샷 정확도를 4.1%에서 19.1%로 향상시켰다.
• 기준 모델 [49] 대비 보류된 카테고리에서 75%의 향상률을 기록했으며, 비지도 학습 환경에서 66%의 타겟 카테고리에서 성능 향상을 기록했다.
• 레이블 수가 적은 클래스에서 성능 향상이 가장 두드러졌으며, 레이블 수와 성능 향상 간 상관계수는 -0.29로 나타났다.
• 다중 작업 모델의 특징 활성화를 활용함으로써, 타겟 도메인에서 더 정확한 근접 이웃을 검색할 수 있었으며, 기준 모델 [49]보다 근접 이웃 검색 성능이 뛰어났다.
• 속성 레이블 수가 많은 클래스(예: 밴, SUV)에서 가장 큰 정확도 향상을 기록했고, 자원이 부족한 클래스(예: 크루 캐브, 레이블 57개)는 성능 저하를 겪었다.
• 이 방법은 다른 데이터셋으로도 일반화 가능하다: 추가로 워드넷 기반 레이블을 사용했을 때 오피스 데이터셋에서도 성능 향상을 기록했지만, 자동차 데이터셋에 비해 성능 향상 폭은 더 작았다.