[論文レビュー] Email in the Era of LLMs

Dang Nguyen, Harvey Yiyun Fu+3 more|arXiv (Cornell University)|Mar 6, 2026

Artificial Intelligence in Healthcare and Education被引用数 0

ひとこと要約

The paper presents HR Simulator™, a game to study human–LLM email writing, revealing a hybrid human+LLM advantage and how model size affects email judgments, tone, and tact.

ABSTRACT

Email communication increasingly involves large language models (LLMs), but we lack intuition on how they will read, write, and optimize for nuanced social goals. We introduce HR Simulator, a game where communication is the core mechanic: players play as a Human Resources officer and write emails to solve socially challenging workplace scenarios. An analysis of 600+ human and LLM emails with LLMs-as-judge reveals evidence for larger LLMs becoming more homogenous in their email quality judgments. Under LLM judges, humans underperform LLMs (e.g., 23.5% vs. 48-54% success rate), but a human+LLM approach can outperform LLM-only (e.g., from 40% to nearly 100% in one scenario). In cases where models' email preferences disagree, emergent tact is a plausible explanation: weaker models prefer less tactful strategies while stronger models prefer more tactful ones. Regarding tone, LLM emails are more formal and empathetic while human emails are more varied. LLM rewrites make human emails more formal and empathetic, but models still struggle to imitate human emails in the low empathy, low formality quadrant, which highlights a limitation of current post-training approaches. Our results demonstrate the efficacy of communication games as instruments to measure communication in the era of LLMs, and posit human-LLM co-writing as an effective form of communication in that future.

研究の動機と目的

• 社会的目標に沿ったメールの読み書きおよび最適化をLLMsがどのように行うかを理解する動機付け。
• varied scenariosの下で人間・AI・ハイブリッドのメール作成を測定・比較するHR Simulator™を紹介。
• モデルの規模が拡大するにつれてLLMのメール品質判断が収束する様子を特徴付ける。
• AIの判断に基づくトーン、共感、形式性、機 tactのメール効果への影響を探る。
• 将来の人間–LLM協働によるメールコミュニケーションの示唆を提供。

提案手法

• プレイヤーが人事担当として workplace scenarios を解決するメールを書くゲームとしてHR Simulator™を開発。
• ゲーム内の判定者としてGPT-4oを用い、5つのシナリオで受取手と結果をシミュレート。
• 小規模〜大規模モデルの複数のLLM判定者によって評価された、600件を超える人間メールとLLMメールを分析。
• 同一シナリオ内のメールの判定者ペアの好みを比較するためにEloランキングを適用。
• 丁寧さ、共感、形式性をメールに注釈づけ、トーンとモデルの好みとの整合性を解釈。
• 判定者のサイズと一致度が合格率と知覚品質に与える影響を評価するための事後分析を実施。

(a) Human vs LLM emails.

実験結果

リサーチクエスチョン

• RQ1 人間とLLMのメールは社会的に難しい職場シナリオでの成功率に差があるか。
• RQ2 より大きなLLMはメール品質の判断をより統一的に収束させるか、そしてこれがAI作成コンテンツの好みにどう影響するか。
• RQ3 人間+LLMの協働は人間単独やLLM単独よりも効果的なメールを生み出すか。
• RQ4 モデルの判断において丁寧さ、共感、形式性はどのような役割を果たすか。
• RQ5 低共感・低形式性のメールを生み出すための事後訓練アプローチには体系的なギャップがあるか。

主な発見

• humans aloneは平均23.5%の合格率、トップLLMは48–54%;人間+LLMのリライトは一部のシナリオで両方を上回る。
• LLM判定者はLLMが作成したメールを人間作成のものより高く評価し、人間+LLMのメールは特定のケースで両者を上回る。
• モデルサイズが大きくなるにつれてLLM判定者の品質判断がより均質になり、合意係数は約0.5のKrippendorffのalphaに達する。
• 弱い判定者はより直接的なメールを好み、強い判定者はより丁寧で微妙なメールを好む現象を示し、 emergent tact と呼ばれる。
• LLMのリライトは人間のメールをより正式かつ共感的にする傾向があり、共感高・形式性高の象限へ移動させるが、低共感・低形式性のメールの模倣は困難。
• 人間–LLMハイブリッドの優位性は、リライトされた人間メールがGPT-4oの好む丁寧さの範囲に入り、いくつかの判定者（例: GPT-4o と Claude 3.5 Haiku の Scenario 1）で合格率を高めることに起因する。

(b) Where LLM rewrites take human emails.