[논문 리뷰] Unbounded cache model for online language modeling with open vocabulary

Édouard Grave, Moustapha Cissé외 1명|arXiv (Cornell University)|2017. 11. 07.

Topic Modeling참고 문헌 51인용 수 11

한 줄 요약

이 논문은 과거의 히든 활성화를 비모수적 메모리로 저장하여 새로운 데이터 분포에 동적으로 적응할 수 있도록 기존의 사전 훈련된 언어 모델을 향상시키는 무한 크기의 캐시 모델을 제안한다. 근사 최근접 이웃 검색과 양자화를 활용해 수백만 개의 저장된 표현들 중 관련된 컨텍스트를 효율적으로 검색함으로써, 정적 모델 대비 도메인 외 설정에서 퍼플렉서티를 최대 69.7% 감소시킨다.

ABSTRACT

Recently, continuous cache models were proposed as extensions to recurrent neural network language models, to adapt their predictions to local changes in the data distribution. These models only capture the local context, of up to a few thousands tokens. In this paper, we propose an extension of continuous cache models, which can scale to larger contexts. In particular, we use a large scale non-parametric memory component that stores all the hidden activations seen in the past. We leverage recent advances in approximate nearest neighbor search and quantization algorithms to store millions of representations while searching them efficiently. We conduct extensive experiments showing that our approach significantly improves the perplexity of pre-trained language models on new distributions, and can scale efficiently to much larger contexts than previously proposed local cache models.

연구 동기 및 목표

• 재훈련 없이도 빠르게 변화하는 또는 도메인 외부 데이터 분포에 사전 훈련된 언어 모델을 적응시키는 도전 과제를 해결한다.
• 수천 개의 토큰에 국한된 작은 컨텍스트 창을 가진 국소 캐시 모델의 한계를 극복한다.
• 수백만 개의 과거 히든 활성화를 저장하고 검색할 수 있는 비모수적 메모리 시스템을 사용해 효율적이고 확장 가능한 적응을 가능하게 한다.
• 원래 사전 훈련된 분포와의 일관성을 유지하면서도 새로운 또는 희귀한 분포에서 성능을 향상시킨다.

제안 방법

• 언어 모델의 모든 과거 히든 활성화를 비모수적 메모리 구성 요소에 저장하여 동적 검색을 가능하게 한다.
• 양자화(IfvPQ)를 적용한 근사 최근접 이웃(ANN) 검색을 사용해 대규모 메모리에서 관련 표현을 효율적으로 검색한다.
• 검색된 표현들을 파arametric 모델의 예측과 조합하여 동적이고 컨텍스트에 민감한 확률 분포를 생성한다.
• 재훈련 없이 순환 신경망 언어 모델에 캐시 기반 구조를 통합하여 실시간 적응을 가능하게 한다.
• 질의 표현과 저장된 활성화 간의 유사도를 활용해 의미적으로 관련된 과거 시퀀스를 검색함으로써 다음 토큰 예측 성능을 향상시킨다.
• 최적화된 ANN 색인과 양자화를 통해 대규모 메모리에서 수백만 개의 저장된 표현을 처리하면서도 낮은 추론 지연을 유지한다.

실험 결과

연구 질문

• RQ1 과거 히든 상태의 비모수적 메모리가 사전 훈련된 언어 모델의 도메인 외부 또는 급격히 변화하는 데이터 분포에서 성능을 크게 향상시킬 수 있는가?
• RQ2 다양한 데이터 도메인에서 퍼플렉서티 측면에서 무한 크기의 캐시 모델은 국소 캐시 모델과 정적 모델에 비해 어떻게 성능을 냈는가?
• RQ3 근접 이웃 수와 캐시 크기를 늘릴 경우 모델 성능과 추론 효율성에 어떤 영향을 미치는가?
• RQ4 양자화를 적용한 근사 최근접 이웃 검색이 정확도를 손상시키지 않으면서도 대규모 메모리에서 확장 가능하고 실시간으로 표현을 검색할 수 있는가?

주요 결과

• 뉴스 도메인에서 책 도메인으로의 적응 과정에서 무한 크기의 캐시 모델은 평균적으로 퍼플렉서티를 69.7% 감소시켰다. 이는 매우 이질적인 분포 간의 전이에 해당한다.
• 뉴스에서 위키로의 멀티도메인 전이 작업(예: 뉴스 → 위키)에서 무한 크기의 캐시 모델은 정적 모델 대비 79.7%의 상대적 향상과 언리그램 기반 모델 대비 51.6%의 향상을 기록했다.
• 근접 도메인 전이 작업(예: 뉴스 2007 → 2008–2011)에서 무한 크기의 캐시 모델은 정적 모델 대비 퍼플렉서티를 20.44% 상대적으로 향상시켰으며, 언리그램 및 국소 캐시 모델은 거의 향상이 없었다.
• 뉴스 2007 도메인 내 테스트 데이터에서 무한 크기의 캐시 모델은 정적 모델 대비 퍼플렉서티를 24.6% 감소시켰다. 이는 비선형적 검색을 통한 분류 성능 향상 능력을 보여준다.
• 근접 이웃 수가 증가할수록 성능이 향상되며, 선형 복잡도를 고려할 때 1,000개의 이웃이 속도와 정확도 사이의 유리한 균형을 이룬다.
• 테스트 세트가 커질수록 빈도가 낮은 단어에 대한 고품질 표현들이 축적되면서 캐시의 성능 향상이 지속된다.