[論文レビュー] GPT Self-Supervision for a Better Data Annotator

Xiaohuan Pei, Yanxi Li+1 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、複雑な構造化データを要約するためのワンショットテンプレートを段階的に最適化する生成・回復ループを用いた、GPT自己教師学習手法を提案する。GPTの few-shot 機能と元データと回復データの間のアライメントスコアを活用することで、人間によるアノテーションラベルに依存せずに、挑戦的なデータセットにおいても競争力ある性能を達成し、文レベルおよび構造レベルの評価指標において堅牢性を示した。

ABSTRACT

The task of annotating data into concise summaries poses a significant challenge across various domains, frequently requiring the allocation of significant time and specialized knowledge by human experts. Despite existing efforts to use large language models for annotation tasks, significant problems such as limited applicability to unlabeled data, the absence of self-supervised methods, and the lack of focus on complex structured data still persist. In this work, we propose a GPT self-supervision annotation method, which embodies a generating-recovering paradigm that leverages the one-shot learning capabilities of the Generative Pretrained Transformer (GPT). The proposed approach comprises a one-shot tuning phase followed by a generation phase. In the one-shot tuning phase, we sample a data from the support set as part of the prompt for GPT to generate a textual summary, which is then used to recover the original data. The alignment score between the recovered and original data serves as a self-supervision navigator to refine the process. In the generation stage, the optimally selected one-shot sample serves as a template in the prompt and is applied to generating summaries from challenging datasets. The annotation performance is evaluated by tuning several human feedback reward networks and by calculating alignment scores between original and recovered data at both sentence and structure levels. Our self-supervised annotation method consistently achieves competitive scores, convincingly demonstrating its robust strength in various data-to-summary annotation tasks.

研究の動機と目的

• 計算グラフのような複雑な構造化データの人的アノテーションが時間と専門知識を要するという課題に対処すること。
• 既存のLLMベースのアノテーション手法に見られる、人的ラベルデータへの依存、フィードバックメカニズムの欠如、構造化データへの適用性の低さといった制限を克服すること。
• GPTのワンショット学習と反復的最適化を活用した自己教師フレームワークを構築し、高品質な要約を生成すること。
• 人間のフィードバック報酬モデルと文レベルおよび構造レベルでのアライメントスコアを用いて、手法を評価すること。
• 実世界のデータセット、特にニューラルアーキテクチャの要約を含む、新規のデータセット作成の有効性を実証すること。

提案手法

• 本手法は、ワンショットチューニングと生成の二段階フレームワークを採用し、生成・回復パラダイムを用いてテンプレートを段階的に最適化する。
• ワンショットチューニング段階では、サポートセットからのデータサンプルをプロンプトとして用い、GPTが要約を生成し、その後元のデータを再構築する。
• 回復データと元のデータの間のアライメントスコアがフィードバックとして機能し、テンプレートを更新する。サポートスコアとバリデーションスコアの両方が向上した場合に、テンプレートを置き換える。
• 復元プロンプトを用いて要約からデータを再構築することで、より良い一般化を実現するためのテンプレートの反復的最適化が可能になる。
• 最終的なテンプレートは、未観測で挑戦的なデータセットの要約生成に適用される。
• 評価には、文レベルおよび構造レベルでの複数の類似度メトリクス（BLEU、ROUGE、STS、BERT）に加え、人間フィードバック報酬モデルが用いられる。

実験結果

リサーチクエスチョン

• RQ1 人的ラベルに依存せずに、複雑な構造化データに対して高品質な要約を効果的に生成できる自己教師学習GPTベースの手法は存在するか？
• RQ2 反復的生成・回復ループは、アライメントフィードバックを通じて、テンプレート品質と要約性能をどのように向上させるか？
• RQ3 温度ハイパーパrameterが生成されたテンプレートおよび要約の多様性と品質に与える影響は何か？
• RQ4 本手法は、さまざまなデータタイプ、特に教師ありベースラインと比較して、どのように性能を示すか？
• RQ5 本手法は、ニューラルアーキテクチャ要約の新規で高品質なデータセット作成に一般化可能か？

主な発見

• 自己教師学習アプローチは、BLEU、ROUGE、STS、BERTスコアを含む複数の評価指標で一貫した競争力ある性能を示し、データから要約へのアノテーションにおける堅牢性を実証した。
• ワンショットチューニング段階で温度ハイパーパrameterを1に設定した場合、温度0に比べて最終スコアが高く、生成出力の多様性も向上した。温度0では早期収束が生じた。
• 反復的最適化プロセスにより、サポートスコアとバリデーションスコアの両方が向上し、アライメントフィードバックによる効果的なテンプレート最適化が確認された。
• 本手法は、異なる計算演算子に基づき、3,000件および15,000件の要約を含む2つの新規データセットを、ニューラルネットワークアーキテクチャの要約として成功裏に生成した。
• アブレーションスタディにより、自己教師学習メカニズムの有効性と、アライメントスコアがテンプレート最適化を導く上で重要な役割を果たすことが確認された。
• 計算グラフのような、人的アノテーションが特に困難な複雑な構造化データの要約生成において、本手法はベースライン手法を上回る性能を示した。