[논문 리뷰] Self-informed neural network structure learning

David Warde-Farley, Andrew Rabinovich외 1명|arXiv (Cornell University)|2014. 12. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 6인용 수 13

한 줄 요약

이 논문은 시각적으로 유사한 클래스 집합에 특화된 보조 완전 연결 레이어를 추가하여 대규모 다중 레이블 시각 인식에서 사전 훈련된 딥 네ural 네트워크의 성능을 향상시키는 방법을 제안한다. 네트워크의 자체 예측을 활용해 레이블 유사도를 정렬하고 스펙트럼 클러스터링을 수행함으로써, 곱셈-덧셈 연산 수가 3% 미만으로 증가하는 범위에서 평균 평균 정밀도(mAP)를 2.61%p 향상시킨다.

ABSTRACT

We study the problem of large scale, multi-label visual recognition with a large number of possible classes. We propose a method for augmenting a trained neural network classifier with auxiliary capacity in a manner designed to significantly improve upon an already well-performing model, while minimally impacting its computational footprint. Using the predictions of the network itself as a descriptor for assessing visual similarity, we define a partitioning of the label space into groups of visually similar entities. We then augment the network with auxilliary hidden layer pathways with connectivity only to these groups of label units. We report a significant improvement in mean average precision on a large-scale object recognition task with the augmented model, while increasing the number of multiply-adds by less than 3%.

연구 동기 및 목표

• 추론 비용을 크게 증가시키지 않으면서 대규모 다중 레이블 시각 인식에서 사전 훈련된 딥 네럴 네트워크의 성능을 향상시키는 것.
• 일반적인 네트워크가 구분하기 어려운 세분화된 클래스와 긴 尾 클래스를 인식하는 데 도전하는 것.
• 모델의 자체 예측을 활용해 의미적으로 유사한 레이블 그룹을 식별함으로써 지능적으로 네트워크 용량을 확장하는 방법을 개발하는 것.
• 대규모 및 구조 인식된 용량 확장을 통해 최소한의 계산 오버헤드로 성능 향상을 극대화하는 것.

제안 방법

• 훈련된 네트워크의 검증 데이터셋에 대한 예측을 사용하여 상호 클래스 유사도를 캡처하는 혼동 행렬을 계산한다.
• 스펙트럼 클러스터링을 혼동 행렬에 적용하여 레이블 공간을 시각적으로 유사한 클래스 집합으로 분할한다.
• 기존 네트워크와 병렬로 보조 완전 연결 네트워크 스택을 추가하며, 각 스택은 특정 클러스터의 출력 유닛에만 연결된다.
• 사전 훈련된 네트워크의 특징은 고정하고, 훈련 중에는 오직 새로운 보조 헤드와 최종 분류기 레이어만 미세조정한다.
• 아키텍처는 각 레이블 클러스터 내에서의 분류 성능 향상을 위해 보조 용량을 활용하도록 훈련되며, 원래 모델의 일반화 능력을 유지한다.
• 전체 네트워크를 재훈련하는 대신, 새로운 경로를 효과적으로 활용하도록 학습하는 데 집중한다.

실험 결과

연구 질문

• RQ1 시각적으로 유사한 클래스 서브셋을 대상으로 하는 전용이며 저비용의 경로를 추가함으로써 사전 훈련된 신경망을 향상시킬 수 있는가?
• RQ2 모델의 자체 예측을 사용해 레이블 클러스터를 정의하면 무작위 또는 히우리스틱 레이블 그룹화보다 더 높은 성능을 달성하는가?
• RQ3 이러한 타겟된 용량 증강이 최소한의 계산 비용으로 장기 꼬리 및 세분화된 클래스의 mAP를 향상시킬 수 있는가?
• RQ4 다양한 클러스터링 전략과 네트워크 구성에서 성능 향상은 일관되게 유지되는가?

주요 결과

• 제안된 방법은 JFT-18B 데이터셋에서 39.41%의 평균 평균 정밀도(mAP)를 달성하여 기반 모델의 36.80%보다 2.61%p 향상되었다.
• 곱셈-덧셈 연산 수는 2.6% 증가에 그쳐, 1.52B에서 1.56B로 증가하였다.
• 무작위 레이블 분할 기반 베이스라인보다 크게 뛰어나며, 동일한 용량 제약 조건 하에서 32.97%의 mAP를 기록하였다.
• 공동 탐지 기반 클러스터링을 사용하고 13개의 헤드를 사용할 경우, 38.07%의 mAP를 달성하였으며, 여전히 무작위 기반 베이스라인(32.13%)과 기반 모델을 능가하였다.
• 결과적으로, 모델 예측을 기반으로 한 자기 정보 기반 레이블 클러스터링은 랜덤 또는 메타데이터 기반 그룹화보다 더 효과적인 용량 활용을 이끌어낸다.
• 이 방법은 입력 모odal의 종류에 의존하지 않기 때문에 컴퓨터 비전 외의 다른 도메인에도 일반적으로 적용 가능하다.