[논문 리뷰] Deep Networks With Large Output Spaces

Sudheendra Vijayanarasimhan, Jonathon Shlens외 2명|arXiv (Cornell University)|2014. 12. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 10인용 수 31

한 줄 요약

이 논문은 수백만 개의 출력 클래스를 가진 딥 네ural 네트워크에서 훈련과 추론을 가속화하기 위해 국소성에 민감한 해싱(LSH) 기반 방법을 제안한다. 이는 최종 분류 레이어에서 계산 비용이 큰 내적 연산을 근사화함으로써 이루어지며, 가중치 벡터를 해싱하고 상위-k개의 근접 이웃과만 내적을 계산함으로써 더 빠른 수렴과 높은 정확도를 달성한다. 표준 소프트맥스와 계층적 소프트맥스보다 특히 영상 식별과 같은 고카디널리티 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Deep neural networks have been extremely successful at various image, speech, video recognition tasks because of their ability to model deep structures within the data. However, they are still prohibitively expensive to train and apply for problems containing millions of classes in the output layer. Based on the observation that the key computation common to most neural network layers is a vector/matrix product, we propose a fast locality-sensitive hashing technique to approximate the actual dot product enabling us to scale up the training and inference to millions of output classes. We evaluate our technique on three diverse large-scale recognition tasks and show that our approach can train large-scale models at a faster rate (in terms of steps/total time) compared to baseline methods.

연구 동기 및 목표

• 수백만 개의 출력 클래스를 가진 딥 네트워크의 훈련과 추론에서 발생하는 계산 병목 현상을 해결하기 위해.
• 이미지 분류, 영상 식별, 추천 시스템과 같은 대규모 인식 작업을 위한 확장 가능한 딥 러닝을 가능하게 하기 위해.
• 최종 분류 레이어의 시간 복잡도를 높은 정확도 손실 없이 감소시키기 위해.
• 딥 네트워크에서 행렬-벡터 곱을 해싱을 사용해 근사화할 수 있는지 탐색하기 위해.
• 상위-k 해싱이 기존의 소프트맥스와 계층적 소프트맥스보다 훈련 속도와 모델 정확도 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 최종 레이어에서 입력 활성화와 출력 가중치 간의 내적 연산을 해싱 기반 근사화를 제안한다.
• 각 출력 가중치 벡터에 대해 이진 해시 코드를 계산하고, 이를 해시 테이블에 저장하여 빠른 검색을 가능하게 한다.
• 추론 과정에서 입력 활성화의 해시 코드를 계산하고, 해시 유사도 기반으로 상위-k개의 근접 출력 노드를 검색한다.
• 해당 상위-k 노드들만 정확한 내적 연산을 수행하고, 나머진 모두 0으로 설정하여 계산량을 줄인다.
• 훈련 과정에서도 동일한 해싱 기법을 적용하여 상위-k 파라미터 업데이트를 통해 기울기 업데이트를 가속화한다.
• 전체 소프트맥스를 상위-k개의 가장 관련성이 높은 출력 노드만 사용해 근사화하는 WTA(승자-모두-소속) 소프트맥스 변형을 사용한다.

실험 결과

연구 질문

• RQ1 국소성에 민감한 해싱이 큰 출력 공간을 가진 딥 네트워크의 최종 레이어에서 내적 연산을 효과적으로 근사화하는 데 사용될 수 있는가?
• RQ2 제안된 해싱 기반 방법이 표준 소프트맥스와 계층적 소프트맥스에 비해 훈련 속도와 모델 정확도 면에서 어떻게 비교되는가?
• RQ3 영상 식별이나 대규모 이미지 분류와 같은 문제에 대해 수백만 개의 클래스에 대해 이 방법이 효과적으로 스케일링되는가?
• RQ4 해싱을 통한 상위-k 근사화가 전체 소프트맥스나 계층적 소프트맥스를 초월하는 조건은 무엇인가?
• RQ5 데이터셋의 특징 압축성(내부 클래스 분산)이 해싱 기반 접근법의 성능에 어떤 영향을 미치는가?

주요 결과

• 스킵그램 데이터셋에서 WTA 소프트맥스 모델은 처리한 훈련 예제 수가 적음에도 불구하고 정밀도@50(16.5%)과 정밀도@100(18.5%)에서 계층적 소프트맥스를 뛰어넘었다.
• 스포츠 1M 영상 식별 작업에서 WTA 모델은 표준 소프트맥스보다 단계당 훈련 속도가 4배 빠르며, 두 베이스라인보다 더 높은 정확도를 달성했다.
• WTA 모델은 표준 소프트맥스 대비 단계당 시간이 4배 적게 걸렸지만, 더 높은 단계당 계산량으로 인해 계층적 소프트맥스보다 4배 느렸다. 그러나 최종 정확도에서는 여전히 슈퍼리어했다.
• 스포츠 1M 데이터셋의 특징 내부 클래스 분산은 ImageNet-21K에 비해 유의미하게 낮았으며, 이는 상위-k 근사화가 영상 데이터에서 더 잘 작동하는 이유를 설명한다.
• 해당 방법은 O(N)에서 O(K)로 필요한 내적 연산 수를 줄여 수백만 개의 클래스를 가진 대규모 모델의 훈련을 가능하게 했으며, 여기서 K << N이다.
• 특징 공간이 압축되어 있을 경우(낮은 내부 클래스 분산), 특히 영상나열 데이터와 같이 근접 이웃이 더 잘 대표되는 경우, 이 방법은 특히 효과적이다.