[論文レビュー] Continual Learning for Sentence Representations Using Conceptors

Tianlin Liu, Lyle Ungar+1 more|arXiv (Cornell University)|Apr 18, 2019

Topic Modeling参考文献 24被引用数 7

ひとこと要約

本稿では、概念子（conceptors）を用いて、逐次的なコーパスに対して線形文埋め込みモデルを段階的に更新する継続的学習フレームワークを提案する。コーパスに依存しない特徴量で初期化し、概念子行列に対するブール演算を適用することで、災難的忘却を抑制し、学習から再開する場合と比較して、意味的テクスト類似度タスクで優れた性能を達成する。一部のケースではゼロショットベースラインを上回ることすらある。

ABSTRACT

Distributed representations of sentences have become ubiquitous in natural language processing tasks. In this paper, we consider a continual learning scenario for sentence representations: Given a sequence of corpora, we aim to optimize the sentence encoder with respect to the new corpus while maintaining its accuracy on the old corpora. To address this problem, we propose to initialize sentence encoders with the help of corpus-independent features, and then sequentially update sentence encoders using Boolean operations of conceptor matrices to learn corpus-dependent features. We evaluate our approach on semantic textual similarity tasks and show that our proposed sentence encoder can continually learn features from new corpora while retaining its competence on previously encountered corpora.

研究の動機と目的

• 順次到着する学習データを伴う動的NLP環境における継続的文表現学習の課題に取り組む。
• 結合されたコーパス上で再訓練する必要がある線形文埋め込みモデルにおける災難的忘却を克服する。
• 初期化に何らの学習コーパスも必要としないゼロショット文表現学習を可能にする。
• 新たに到着するコーパスから新しい特徴量を学習しながら、以前に見たコーパスにおける性能を維持する手法を開発する。
• 意味的テキスト類似度ベンチマークを用いて、概念子ベースの適応が継続的学習シナリオで効果的であることを示す。

提案手法

• 学習コーパスに依存しない特徴量で文埋め込みモデルを初期化し、ゼロショット推論を可能にする。
• コーパス固有の特徴量を概念子行列で表現し、新たなコーパスに対してブール演算（例：積集合、和集合）を用いて更新する。
• 文ベクトルを単語ベクトルの重み付き平均として計算する修正SIF類似フレームワークを適用し、学習済みの共通ディスcourse方向から投影する。
• 各新しいコーパスから導出された概念子行列を用いて共通ディスcourse方向を更新し、行列演算によって過去の知識を保持する。
• リザボアーコンピューティングにおける行列概念子を活用し、完全な再訓練なしに効率的かつ段階的な適応を可能にする。
• SIFと同等の比較を可能にするために、α=1およびa=0.001（SIFと同一）のハイパーパramータを用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練データが一切ない状態で、文埋め込みモデルを意味のある文表現を生成できるように初期化できるか？
• RQ2 線形文埋め込みモデルを、以前に見たデータの性能を維持しながら、新たなコーパスに対して段階的に更新できるか？
• RQ3 概念子ベースの継続的学習の性能は、結合コーパス上で学習から再開する場合と比較してどうなるか？
• RQ4 順次学習シナリオにおいて、この手法が災難的忘却に対してどの程度耐性を示すか？
• RQ5 概念子を用いたゼロショット初期化は、未確認のコーパスにおいて、微調整済みまたは再訓練済みモデルを上回る性能を示せるか？

主な発見

• 提案されたCAエンコーダーは、より多くのコーパスが追加される中でも、学習から再開する場合よりも以前に見たコーパスで優れた性能を達成しており、災難的忘却に対する耐性が裏付けられる。
• ゼロショットCAエンコーダーは、学習から再開するSIFベースラインの時間平均性能を、ほとんどのコーパスで上回っており、訓練データなしで優れた一般化性能を示している。
• 意味的テキスト類似度タスクにおいて、CAエンコーダーはすべてのコーパスで高いピアソン積率相関係数（PCC）を維持し、時間経過に伴う性能低下が最小限に抑えられている。
• 学習から再開するSIFベースラインの性能は、新しいコーパスが追加されるたびに顕著に低下するが、CAエンコーダーは僅かな劣化しか示さない。
• ブール演算による概念子行列の操作を通じて、コーパス固有の特徴量を効果的に学習し、完全な再訓練なしに段階的適応を可能にする。
• 時間経過と平均性能評価の両方で、ニュース、フォーラム、ツイート、キャプション、WordNetを含む多様なコーパスにおいて、本手法のロバスト性が示されている。