[論文レビュー] Putting Language into Context Using Smartphone-Based Keyboard Logging

Florian Bemmann, T. Koch+5 more|arXiv (Cornell University)|Mar 8, 2024

Mobile Learning in Education被引用数 4

ひとこと要約

本論文では、スマートフォンキーボードのログ記録を、入力の目的（例：メッセージ送信、コメント入力、検索）に基づいて分類するUIの入力プロンプトテキストを用いて、文脈的情報を追加する、プライバシーに配慮したデバイス内手法を提案する。624名の参加者を対象とした6か月間の研究を通じて、入力の目的分類がデータの事前フィルタリングとユーザーのプライバシー保護を向上させるとともに、現実世界の文脈における言語的・行動的分析を高精度で可能にすることを実証した。

ABSTRACT

While the study of language as typed on smartphones offers valuable insights, existing data collection methods often fall short in providing contextual information and ensuring user privacy. We present a privacy-respectful approach - context-enriched keyboard logging - that allows for the extraction of contextual information on the user's input motive, which is meaningful for linguistics, psychology, and behavioral sciences. In particular, with our approach, we enable distinguishing language contents by their channel (i.e., comments, messaging, search inputs). Filtering by channel allows for better pre-selection of data, which is in the interest of researchers and improves users' privacy. We demonstrate our approach on a large-scale six-month user study (N=624) of language use in smartphone interactions in the wild. Finally, we highlight the implications for research on language use in human-computer interaction and interdisciplinary contexts.

研究の動機と目的

• 既存のスマートフォンキーボードログ記録手法には文脈的情報が不足しており、しばしばアプリベースの代理指標に依存するが、これではテキスト入力の真の目的を捉えきれないことに対処すること。
• 送信前に、関係のないまたは機微なテキスト入力を、早期かつデバイス内でフィルタリングすることで、ユーザーのプライバシーを向上させること。
• UIのプロンプトテキストメタデータを用いて、入力の目的（例：メッセージ送信、コメント、検索）に基づき、スケーラブルなデバイス内分類システムを構築すること。
• 広範な研究採用を促進するため、再利用可能なオープンソースのAndroidライブラリおよび入力プロンプトテキストの分類マッピングを提供すること。
• 進化するモバイルエコシステムにおける、こうした文脈を豊かにしたログ記録のプライバシー的リスクと長期的持続可能性を批判的に評価すること。

提案手法

• 著者らは、ユーザーのインタラクション中にリアルタイムで画面内キーボードUIからの入力プロンプトテキストを収集するAndroidログモジュールを開発した。
• 入力プロンプトテキスト（例：「メッセージを入力」、「検索」）を、メッセージ送信、コメント、検索入力などの特定の言語的目的に割り当てる手動分類マッピングを作成した。
• 事前に定義されたプロンプトテキストマッピングを用いて、デバイス内で各テキスト入力を分類する。これにより、生のテキストデータを送信しないという点でプライバシーが確保される。
• 本手法は、入力プロンプトテキストの長尾分布を活用しており、ログ記録されたプロンプトの88.4％をカバーし、全入力の52.63％を手動マッピングで分類できた。
• 希少または新しい入力プロンプトテキストに対応するため、手動コーディングと自動類似度ベース分類を組み合わせた、半自動の拡張戦略を提案した。
• 本手法は、3,325の異なるアプリと22,895個の固有の入力プロンプトテキストを含む、624名の参加者を対象とした大規模な6か月間の縦断的研究で検証された。

Figure 1. Screenshots of three text fields of the three Android apps: Google WhatsApp (left), Google Search (middle), and Twitter (right). All three text fields have input prompt texts, that give the user a hint about what the text field is intended to be used for.

実験結果

リサーチクエスチョン

• RQ1 スマートフォンキーボードUIからの入力プロンプトテキストは、ユーザーのテキスト入力の目的（例：メッセージ送信対比検索）を信頼性高く分類するために使用可能か？
• RQ2 提案された入力プロンプトテキスト分類は、大規模な現実世界の研究において、現実のテキスト入力データをどれほどカバーできるか？
• RQ3 文脈を豊かにしたキーボードログ記録は、アプリベース分類と比較して、データの事前フィルタリングとユーザーのプライバシー保護をどの程度向上させるか？
• RQ4 入力プロンプトテキスト分類は、異なるアプリ、ユーザー集団、および時間経過にわたって、どの程度安定的かつ再利用可能か？
• RQ5 このアプローチの主なプライバシー的リスクと制限要因は何か。今後の研究でそれらをどのように軽減できるか？

主な発見

• 提案された入力プロンプトテキスト分類は、6か月間の研究においてログ記録された入力プロンプトテキストの88.4％をカバーし、全入力の52.63％を分類した。
• 本手法は、メッセージ送信、コメント、検索入力、その他の4つの主要な入力目的を明確に区別でき、アプリベースのフィルタリングに比べてより正確なデータ選択を可能にした。
• 入力の発生時に分類することで、システムは関係のないまたは機微なコンテンツをデバイス内でフィルタリング可能となり、ユーザーのプライバシーが著しく向上した。
• アプリの機能や名前が変更されやすいのに対し、入力プロンプトテキストは変更されにくいことから、本手法は従来のアプリベース分類よりも時間経過にわたってより安定している。
• 入力プロンプトテキストの長尾分布のため、大多数の入力はカバーされるが、11.6％の非小規模な割合が未分類のまま残り、継続的なメンテナンスが求められる。
• 著者らは再利用可能なAndroidライブラリと、公開可能な入力プロンプトテキスト分類マッピングを提供しており、再現性と今後の研究導入を支援している。

Figure 2. Instead of categorizing collected in-the-wild text input data by the originating app, we propose to regard the originating text field’s input prompt text. This figure shows on the example of the app Instagram, that text inputs into Instagram are not just social media contents such as posts