[論文レビュー] Averaging Gone Wrong: Using Time-Aware Analyses to Better Understand Behavior

Samuel Barbosa, Dan Cosley+2 more|arXiv (Cornell University)|Mar 22, 2016

Social Media and Politics参考文献 56被引用数 20

ひとこと要約

この論文は、時間的ダイナミクスを考慮しないまま集計分析を行うと、オンラインコミュニティ行動の分析が誤解を招く可能性があると主張している。年次コhortに分けてRedditユーザーを分析し、ユーザー中心の時間基準を用いることで、コメントの長さや活動頻度がユーザーの在籍期間に伴い増加することが明らかになった。これは、Simpsonの逆説により、集計的傾向とは対照的である。したがって、ソーシャルネットワーク研究において時間に配慮した手法の重要性が強調される。

ABSTRACT

Online communities provide a fertile ground for analyzing people's behavior and improving our understanding of social processes. Because both people and communities change over time, we argue that analyses of these communities that take time into account will lead to deeper and more accurate results. Using Reddit as an example, we study the evolution of users based on comment and submission data from 2007 to 2014. Even using one of the simplest temporal differences between users---yearly cohorts---we find wide differences in people's behavior, including comment activity, effort, and survival. Further, not accounting for time can lead us to misinterpret important phenomena. For instance, we observe that average comment length decreases over any fixed period of time, but comment length in each cohort of users steadily increases during the same period after an abrupt initial drop, an example of Simpson's Paradox. Dividing cohorts into sub-cohorts based on the survival time in the community provides further insights; in particular, longer-lived users start at a higher activity level and make more and shorter comments than those who leave earlier. These findings both give more insight into user evolution in Reddit in particular, and raise a number of interesting questions around studying online behavior going forward.

研究の動機と目的

• オンラインコミュニティ研究における集計的・時間に依存しない分析の妥当性に疑問を呈すること。
• ユーザーがコミュニティに参加した時期を考慮することで、ユーザー行動が時間経過とともにどのように変化するかを調査すること。
• 時間的ダイナミクスを無視することで、ユーザーの活動や努力に関する誤った結論が導かれる可能性を示すこと。
• ユーザーの生存期間が、コメント行動と投稿行動のパターンに与える影響を調査すること。
• 長期的なユーザー進化を理解するために、コhortベースの分析とユーザー中心の時間基準の重要性を強調すること。

提案手法

• コhortベースの分析：ユーザーの初回可視活動年（例：2007年、2008年など）でユーザーをグループ化する。
• 暦時間における集計的傾向と、ユーザー在籍期間におけるコhort特有の傾向を比較する。
• ユーザー基準時間の使用：暦時間ではなく、各ユーザーの初回活動日を基準に行動を測定する。
• コhortと時間の経過に伴うコメント長、投稿頻度、コメント対投稿の比率を分析する。
• Simpsonの逆説のような逆説的傾向を検出・解釈する統計的手法を適用する。
• 生存ユーザー（閾値を超えて活動を継続したユーザー）に焦点を当て、離脱の影響を除外して長期的行動進化を隔離する。

実験結果

リサーチクエスチョン

• RQ1 全ユーザーを統合的に分析するのではなく、コhortごとに分析した場合、ユーザーの投稿活動はどのように時間経過とともに変化するか？
• RQ2 ユーザーの在籍期間に伴い、コメントの長さは増加するのか、減少するのか。また、全体の集計的傾向とはどのように対比されるか？
• RQ3 長期間生存するユーザーのコメント対投稿の比率は、どのように変化するか？
• RQ4 コhortレベルでの行動の違いが、集計データにおける全体的傾向をどれほど隠蔽または歪曲しているか？
• RQ5 ユーザーの生存期間が、オンラインコミュニティにおける観察された行動パターンを形成する上で果たす役割は何か？

主な発見

• 集計分析では平均コメント長が時間経過とともに減少しているように見えるが、各コhortではユーザー在籍期間に伴いコメント長が安定して増加しており、Simpsonの逆説の事例である。
• 長期間生存するユーザーは、初期段階で高い活動レベルを示し、早期に離脱するユーザーと比べて、より多く、より短いコメントを行う。
• 長期間生存するユーザーは、新規の生存ユーザーと比べて著しく活発で、新規コhortは活動レベルで追いついていない。
• 若いコhortでは、低活動の生存ユーザーの割合が増加しており、ユーザー参加行動のパターンが時間経過とともに変化していることを示唆している。
• 長期間生存するユーザーは、時間の経過とともに投稿をコメントに置き換える傾向があり、全体の投稿活動が安定している中でコメント対投稿比が上昇する。
• 集計的視点はユーザー行動を誤解を招く形で表現している：生存ユーザーの平均活動の上昇は、努力の増加によるのではなく、初期段階で低活動ユーザーが離脱するためである。