[논문 리뷰] Attend in groups: a weakly-supervised deep learning framework for learning from web data

Bohan Zhuang, Lingqiao Liu외 3명|arXiv (Cornell University)|2016. 11. 30.

Advanced Neural Network Applications참고 문헌 36인용 수 5

한 줄 요약

이 논문은 무선별 학습 기반의 딥러닝 프레임워크를 제안하며, 무작위 그룹화와 주의 메커니즘을 결합하여 노이즈가 많은 웹 이미지에서 시각 인식 성능을 향상시킨다. 그룹 수준의 레이블 정확도를 높이기 위해 이미지를 그룹으로 묶고, 노이즈가 많은 특징을 억제하기 위해 주의 메커니즘을 사용함으로써, 정교한 분류 및 일반적인 이미지 분류 과제에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 고도로 노이즈가 많은 환경에서 기존의 기준 모델들을 크게 앞서며 뛰어난 성능을 보인다.

ABSTRACT

Large-scale datasets have driven the rapid development of deep neural networks for visual recognition. However, annotating a massive dataset is expensive and time-consuming. Web images and their labels are, in comparison, much easier to obtain, but direct training on such automatically harvested images can lead to unsatisfactory performance, because the noisy labels of Web images adversely affect the learned recognition models. To address this drawback we propose an end-to-end weakly-supervised deep learning framework which is robust to the label noise in Web images. The proposed framework relies on two unified strategies -- random grouping and attention -- to effectively reduce the negative impact of noisy web image annotations. Specifically, random grouping stacks multiple images into a single training instance and thus increases the labeling accuracy at the instance level. Attention, on the other hand, suppresses the noisy signals from both incorrectly labeled images and less discriminative image regions. By conducting intensive experiments on two challenging datasets, including a newly collected fine-grained dataset with Web images of different car models, the superior performance of the proposed methods over competitive baselines is clearly demonstrated.

연구 동기 및 목표

• 노이즈가 많고 자동으로 할당된 레이블을 가진 대규모 웹 이미지에서 딥 네트워크를 훈련시키는 도전 과제를 해결한다.
• 인간이 레이블링한 깨끗한 레이블이 필요 없이 웹 기반 훈련 데이터의 레이블 노이즈가 미치는 악영향을 줄인다.
• 약한 감독 기반의 종단간(end-to-end) 프레임워크를 개발하여 노이즈가 많은 레이블에 대해 강건하면서도 하류 과제에서 높은 성능을 유지한다.
• 단지 웹 기반 데이터만을 사용하여 정교한 분류 및 일반 이미지 분류 벤치마크에서 효과를 입증한다.
• 간단하면서도 효과적인 훈련 전략을 도입함으로써 웹 데이터를 실용적으로 활용하여 강건한 시각 모델을 훈련시킬 수 있도록 한다.

제안 방법

• 무작위 그룹화: 여러 웹 이미지를 하나의 훈련 인스턴스로 묶어, 그룹 내에서 적어도 하나의 이미지가 정확하게 레이블링될 가능성을 높임으로써 그룹 수준의 레이블 정확도를 향상시킨다.
• 그룹 수준의 표현: 그룹 내 모든 이미지의 컨볼루션 특징 맵을 통합하여 훈련 인스턴스의 통합된 특징 표현을 형성한다.
• 주의 메커니즘: 구분력 있는 이미지 영역에 집중하고 잘못 레이블링된 이미지에서 유해한 노이즈 특징을 억제하기 위해 학습 가능한 주의 모듈을 적용한다.
• 주의 정규화: 주의 모듈이 정보가 풍부한 局부 특징에 집중하고 노이즈 신호에 과적합되지 않도록 하는 정규화 항을 도입한다.
• 종단간 훈련: 무작위 그룹화와 주의 메커니즘을 사전 훈련 없이 단일의 공동 최적화된 딥러닝 파이프라인으로 통합한다.
• 다시 순서 정하기 전략: 훈련된 모델의 분류 점수를 사용하여 훈련 데이터를 다시 순서 정하며, 높은 신뢰도를 가진 정확한 샘플을 우선순위로 배치함으로써 데이터 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 웹 이미지를 무작위로 그룹화하면, 그룹 수준의 레이블 정확도가 향상되어 약한 감독의 신뢰성을 높일 수 있는가?
• RQ2 주의 메커니즘이 잘못 레이블링된 이미지에서의 노이즈 특징을 얼마나 효과적으로 억제할 수 있으며, 이로 인해 모델의 일반화 성능이 얼마나 향상되는가?
• RQ3 무작위 그룹화와 주의 메커니즘의 조합이 매우 노이즈가 많은 웹 데이터에서 정교한 이미지 분류 과제에 미치는 영향은 어떠한가?
• RQ4 제안된 프레임워크는 ImageNet과 같은 표준 이미지 분류 과제에 대해 노이즈가 많은 웹 데이터를 사용할 수 있는가?
• RQ5 모델의 신뢰도 기반으로 웹 이미지를 다시 순서 정하면, 훈련 데이터의 품질과 하류 성능이 향상되는가?

주요 결과

• 60%의 레이블 노이즈가 있는 WebCars 데이터셋에서, 제안된 RGT+AT+R 방법은 그룹 크기 4일 때 평균 정밀도(MAP) 91.04%를 달성했으며, AP(74.42%) 및 AP+AT(90.56%) 기준 모델을 크게 앞서는 성능을 보였다.
• 그룹 크기가 2일 때, 훈련을 처음부터 시작하여 노이즈가 많은 웹 데이터에서 ILSVRC2012 검증 세트에서 71.24%의 top-1 정확도를 기록했으며, AP 기준 모델(58.81%)보다 12.43%포인트 높은 성능을 보였다.
• 주의 메커니즘만으로도 ImageNet 웹 데이터 설정에서 약 9%의 정확도 향상을 달성하여, 노이즈 특징을 걸러내는 데 효과적임을 입증했다.
• 다시 순서 정하기 전략은 정확하게 레이블링된 이미지를 성공적으로 우선순위로 배치했으며, 잘못 레이블링된 샘플이 몇 개 밖에 높은 순위에 올라가지 않아, 강력한 데이터 품질 선별 능력을 보였다.
• 최적의 그룹 크기는 ImageNet 설정에서 2로 확인되었으며, 이는 정확도가 71.24%로 정점에 도달했고, 그룹 크기 선택의 중요성을 확인했다.
• 주의 맵의 시각화 결과, 정확하게 레이블링된 이미지에서는 구분력 있는 부분을 정확히 국소화한 반면, 잘못 레이블링된 이미지에서는 집중하지 못함을 확인하여, 주의 메커니즘이 노이즈를 효과적으로 억제함을 검증했다.