[論文レビュー] Reviews Matter: How Distributed Mentoring Predicts Lexical Diversity on Fanfiction.net

John Frens, Ruby Davis+3 more|arXiv (Cornell University)|Sep 26, 2018

Wikis in Education and Collaboration参考文献 10被引用数 7

ひとこと要約

本研究は、Fanfiction.netにおけるピアレビューを通じた分散型メンタリングが、ユーザーが生成する物語における語彙的多様性に与える影響を調査する。150万人の著者からのデータを用いて、フィードバックを受けることで語彙的多様性が顕著に向上することを示し、蓄積されたレビュー受信履歴が、著述スキルの向上を強く予測することを明らかにした。これは、ネットワーク化されたフィードバックが非公式な学習環境において果たす役割を強調する。

ABSTRACT

Fanfiction.net provides an informal learning space for young writers through distributed mentoring, networked giving and receiving of feedback. In this paper, we quantify the cumulative effect of feedback on lexical diversity for 1.5 million authors.

研究の動機と目的

• ピアレビューがファンフィクションの著述における語彙的多様性に与える影響を検討すること。
• 分散型メンタリング（非階層的でネットワーク化されたフィードバック）が、オンラインプラットフォーム上での著述スキルの発展にどのように寄与するかを調査すること。
• 大規模かつ現実世界のライティングコミュニティにおいて、レビュー受信の蓄積的影響を定量化すること。
• フィードバックの露出が、言語の複雑さと多様性の測定可能な向上と相関しているかどうかを評価すること。

提案手法

• 本研究は、Fanfiction.netに登録された150万人のファンフィクション著者に関するデータセットを分析し、ユーザーが生成した物語と関連するレビュー相互作用に焦点を当てる。
• 語彙的多様性は、計算言語学における標準的な指標であるタイプ・トークン比（TTR）を用いて測定される。
• 研究者たちは、ユーザーが受けたレビューの数を時間経過とともに追跡し、TTRの変化との相関関係を分析することで、レビュー受信の蓄積的影響をモデル化する。
• 縦断的分析を実施し、受けたレビューの数が語彙的多様性の上昇をどの程度予測できるかを、ユーザーの活動量と物語の長さを制御した上で評価する。
• 重回帰分析を用いて、著述経験や物語の長さなどの他の交絡要因からの影響を分離し、フィードバックの影響を明確にする。

実験結果

リサーチクエスチョン

• RQ1 ピアレビューを受けることで、ファンフィクションの著述における語彙的多様性はどのように変化するか？
• RQ2 受けたレビューの累積数は、語彙的多様性の上昇をどの程度予測できるか？
• RQ3 非公式なライティング環境において、フィードバック露出と言語の複雑さの間には測定可能な正の相関があるか？
• RQ4 分散型メンタリング（公式な階層のないピアツーピアのフィードバック）は、オンラインプラットフォーム上での著述スキルの発展にどのように寄与するか？

主な発見

• ピアレビューを受けることは、タイプ・トークン比（TTR）で測定した語彙的多様性の上昇と顕著に相関している。
• ユーザーが受けたレビューの累積数は、語彙的多様性の強力な予測要因であり、露出が多ければ多いほど言語的多様性が高まる。
• 物語の長さやユーザーの活動レベルを制御した後でも、フィードバックが語彙的多様性に与える肯定的影響は依然として持続する。
• 本研究の結果は、ピアフィードバックによる分散型メンタリングが、オンラインプラットフォーム上での非公式な学習と著述スキルの発展において、重要な役割を果たしていることを示唆する。