[논문 리뷰] Superbloom: Bloom filter meets Transformer

John Roberts Anderson, Qingqing Huang외 3명|arXiv (Cornell University)|2020. 02. 11.

Topic Modeling참고 문헌 25인용 수 6

한 줄 요약

Superbloom은 블룸 필터를 다층 트랜스포머와 융합하여 대규모 어휘의 순서 없는 ID(예: 제품 ID 또는 엔티티 ID)를 해시 토큰으로 표현하는 새로운 방법을 제안한다. 이러한 블룸 필터 기반의 해시 다이제스트에 깊이 있는 트랜스포머를 적용함으로써 모델은 맥락적 이해를 통해 해시 충돌을 효과적으로 해결하며, 유사한 크기의 비해시 모델 및 동일한 계산 예산 하에 샘플드 소프트맥스로 훈련된 더 큰 모델보다 높은 정확도를 달성한다.

ABSTRACT

We extend the idea of word pieces in natural language models to machine learning tasks on opaque ids. This is achieved by applying hash functions to map each id to multiple hash tokens in a much smaller space, similarly to a Bloom filter. We show that by applying a multi-layer Transformer to these Bloom filter digests, we are able to obtain models with high accuracy. They outperform models of a similar size without hashing and, to a large degree, models of a much larger size trained using sampled softmax with the same computational budget. Our key observation is that it is important to use a multi-layer Transformer for Bloom filter digests to remove ambiguity in the hashed input. We believe this provides an alternative method to solving problems with large vocabulary size.

연구 동기 및 목표

• 기계 학습에서 투명한 ID로 표현된 대규모 어휘의 순서 없는 특징을 모델링하는 데 도전하는 것.
• BERT의 워드 피ece와 같은 서브워드 토크나이제이션의 성공을 임의의 순서 없는 ID에 해시를 활용해 확장하는 것.
• 특징 해시 과정에서 발생하는 해시 충돌로 인한 모호성을 깊이 있는 트랜스포머를 통한 맥락 모델링으로 해결하는 것.
• 더 작은 해시 토큰 공간에서 전체 소프트맥스를 훈련시켜 대규모 출력 어휘에서 효율적이고 높은 정확도의 예측을 가능하게 하는 것.
• 다층 트랜스포머가 해시된 입력을 효과적으로 해독할 수 있으며, 이는 이전의 해시 기반 방법보다 뛰어난 성능을 발휘한다는 것을 입증하는 것.

제안 방법

• 각 순서 없는 ID를 더 작은 공간 내의 다수의 해시 토큰으로 매핑하기 위해 다수의 무작위 해시 함수를 적용하여 블룸 필터 구조를 모방하는 것.
• 각 해시 토큰을 학습 가능한 임베딩으로 표현하여 트랜스포머의 입력이 되는 임베딩 시퀀스를 구성하는 것.
• 다층 트랜스포머 인코더를 사용하여 맥락을 기반으로 해시 토큰 표현 간의 의존성과 모호성을 모델링하는 것.
• 마스크된 토큰을 맥락에서 예측하는 것을 목표로 한 마스크된 언어 모델링 목적함수를 사용하여 모델을 훈련하는 것.
• 더 작은 토큰 공간에서 빠른 예측을 위해 효율적인 베이즈 서치 기반 추론 알고리즘을 제안하는 것.
• BERT의 워드 피ece와 자주 등장하는 유니그램 및 바이그램을 융합하여 100만 개의 크기를 갖는 기본 어휘를 구성하는 것.

실험 결과

연구 질문

• RQ1 다층 트랜스포머는 블룸 필터 유사 구조에서 유도된 해시 표현을 효과적으로 해독할 수 있는가?
• RQ2 동일한 계산 예산 하에서 원래의 대규모 어휘에서 샘플드 소프트맥스를 사용하는 것과 비교해, 더 작은 해시 토큰 공간에서 전체 소프트맥스를 훈련시키는 것이 성능을 높이는가?
• RQ3 높은 충돌률을 가진 해시 입력을 처리할 때 트랜스포머 아키텍처의 깊이가 성능에 어떤 영향을 미치는가?
• RQ4 해시와 맥락 모델링을 통해 희귀하거나 미리보지 않은 엔티티에 대해 의미 있는 표현을 학습할 수 있는가?
• RQ5 높은 충돌률(예: α=40)을 가진 무작위 해시가 엔티티 표현에 있어 일관된 해시 기반 기법보다 더 효과적인가?

주요 결과

• Superbloom은 파라미터 수 6260만인 더 작은 베이스라인 BERT 모델보다 31.7%의 Recall@1, 48.3%의 Recall@10, 52.9%의 Recall@20 성능을 기록한다.
• 충돌률 α=40일지라도, 모델은 39.2%의 Recall@1, 58.5%의 Recall@10, 64.5%의 Recall@20 성능을 기록하며, 파라미터 수 2억 5440만인 훨씬 더 큰 BERT 모델(37.2% Recall@1)을 능가한다.
• 해시된 입력에 대해서는 일층짜리 트랜스포머와 열두 층짜리 트랜스포머 간의 성능 격차가 비해시 입력에 비해 크게 벌어지며, 이는 깊이가 해독에 있어 핵심적임을 시사한다.
• 모델은 명시적 엔티티에 대해 일반화 능력이 향상되어, BERT가 실패하는 빈칸 채우기 작업에서 특정 엔티티를 정확히 예측하는 경향을 보였다.
• 제안된 베이즈 서치 기반 추론 알고리즘은 더 작은 토큰 공간에서 빠르고 근사적인 추론을 가능하게 하여 배포 효율성을 향상시켰다.
• 결과는 해시가 모델의 어텐션 메커니즘을 통해 각 엔티티에 대해 효과적이고 동적일 수 있는 용량 할당을 가능하게 하여 표현의 유연성을 증가시킬 수 있음을 시사한다.