[논문 리뷰] Putting Language into Context Using Smartphone-Based Keyboard Logging

Florian Bemmann, T. Koch외 5명|arXiv (Cornell University)|2024. 03. 08.

Mobile Learning in Education인용 수 4

한 줄 요약

이 논문은 스마트폰 키보드 로깅에 맥락 정보를 추가하기 위해 입력 프롬프트 UI 텍스트를 기반으로 텍스트 입력을 분류함으로써, 사생활을 존중하는 디바이스 내 방법을 제안한다. 이는 메시징, 댓글, 검색 입력 간의 구분을 가능하게 한다. 624명의 참가자가 참여한 6개월 간의 연구를 통해, 입력 동기 분류가 데이터 사전 필터링과 사용자 프라이버시를 향상시키며, 실제 환경에서의 정교한 언어학적 및 행동 연구를 가능하게 한다.

ABSTRACT

While the study of language as typed on smartphones offers valuable insights, existing data collection methods often fall short in providing contextual information and ensuring user privacy. We present a privacy-respectful approach - context-enriched keyboard logging - that allows for the extraction of contextual information on the user's input motive, which is meaningful for linguistics, psychology, and behavioral sciences. In particular, with our approach, we enable distinguishing language contents by their channel (i.e., comments, messaging, search inputs). Filtering by channel allows for better pre-selection of data, which is in the interest of researchers and improves users' privacy. We demonstrate our approach on a large-scale six-month user study (N=624) of language use in smartphone interactions in the wild. Finally, we highlight the implications for research on language use in human-computer interaction and interdisciplinary contexts.

연구 동기 및 목표

• 기존 스마트폰 키보드 로깅 방법에서 맥락 정보가 부족한 문제를 해결하기 위해, 앱 기반 프록시에 의존하는 방식이 텍스트 입력의 진정한 목적을 포착하지 못하는 점을 해결한다.
• 사용자 프라이버시를 향상시키기 위해, 전송 이전에 디바이스 내에서 관련 없거나 민감한 텍스트 입력을 조기에 필터링할 수 있도록 한다.
• UI 프롬프트 텍스트 메타데이터를 사용하여 입력 동기(예: 메시징, 댓글, 검색 등)를 분류하는 확장 가능한 디바이스 내 시스템을 개발한다.
• 더 넓은 연구 수용을 위해 재사용 가능한 오픈소스 안드로이드 라이브러리와 입력 프롬프트 텍스트 분류 매핑을 제공한다.
• evolving 모바일 생태계에서 이러한 맥락이 풍부한 로깅의 개인정보 위험과 장기적 지속 가능성에 대한 비판적 평가를 수행한다.

제안 방법

• 저자는 사용자 상호작용 중 실시간으로 스크린 상의 키보드 UI에서 입력 프롬프트 텍스트를 캡처하는 안드로이드 로깅 모듈을 개발했다.
• 입력 프롬프트 텍스트(예: '메시지 입력', '검색')를 메시징, 댓글, 검색 입력 등 특정 언어적 동기로 할당하는 수동 분류 매핑을 구축했다.
• 사전 정의된 프롬프트 텍스트 매핑을 사용하여 디바이스 내에서 각 텍스트 입력을 분류함으로써, 원시 텍스트 데이터를 전송하지 않아 프라이버시를 보장한다.
• 이 방법은 입력 프롬프트 텍스트의 장꼬리 분포를 활용하며, 로깅된 프롬프트의 88.4%를 커버하고 전체 입력의 52.63%를 수동 매핑으로 분류한다.
• 희귀하거나 새로운 입력 프롬프트 텍스트를 처리하기 위해 반자동 확장 전략을 제안하며, 수동 코딩과 유사도 기반 분류를 조합한다.
• 이 방법은 3,325개의 다양한 앱과 22,895개의 고유한 입력 프롬프트 텍스트에서 데이터를 확보한 624명의 참가자가 참여한 대규모 6개월 종단형 연구에서 검증되었다.

Figure 1. Screenshots of three text fields of the three Android apps: Google WhatsApp (left), Google Search (middle), and Twitter (right). All three text fields have input prompt texts, that give the user a hint about what the text field is intended to be used for.

실험 결과

연구 질문

• RQ1 스마트폰 키보드 UI의 입력 프롬프트 텍스트는 사용자의 텍스트 입력 동기를 신뢰성 있게 분류하는 데 유용한가(예: 메시징 대비 검색)?
• RQ2 제안된 입력 프롬프트 텍스트 분류 방식은 대규모 실생활 연구에서 실제 세계의 텍스트 입력 데이터를 얼마나 잘 커버하는가?
• RQ3 맥락이 풍부한 키보드 로깅은 앱 기반 분류 대비 데이터 사전 필터링과 사용자 프라이버시 향상에 얼마나 효과적인가?
• RQ4 입력 프롬프트 텍스트 분류 방식은 다양한 앱, 사용자 집단 및 시간 경과에 따라 얼마나 안정적이고 재사용 가능한가?
• RQ5 이 접근 방식의 주요 개인정보 위험 요소와 제한 사항은 무엇이며, 향후 연구에서 어떻게 이를 완화할 수 있는가?

주요 결과

• 제안된 입력 프롬프트 텍스트 분류 방식은 6개월 연구 기간 동안 로깅된 입력 프롬프트 텍스트의 88.4%를 커버했으며, 전체 입력의 52.63%를 분류했다.
• 이 방법은 메시징, 댓글, 검색 입력, 기타 등 네 가지 주요 입력 동기를 성공적으로 구분하여, 앱 기반 필터링보다 더 정교한 데이터 선택을 가능하게 했다.
• 입력 시점에 분류함으로써, 시스템은 관련 없거나 민감한 콘텐츠를 디바이스 내에서 필터링할 수 있으며, 이는 사용자 프라이버시를 크게 향상시켰다.
• 앱의 기능이나 이름 변경에 비해 입력 프롬프트 텍스트가 덜 변하기 때문에, 기존의 앱 기반 분류 방식보다 시간이 지나도 더 안정적인 성능을 보였다.
• 입력 프롬프트 텍스트의 장꼬리 분포는 다수의 입력은 커버되지만, 소수의 비중(11.6%)은 여전히 분류되지 않아 지속적인 유지보수가 필요하다는 점을 시사한다.
• 저자는 재사용 가능한 안드로이드 라이브러리와 공개된 입력 프롬프트 텍스트 분류 매핑을 제공하여, 재현 가능성과 향후 연구 배포를 지원한다.

Figure 2. Instead of categorizing collected in-the-wild text input data by the originating app, we propose to regard the originating text field’s input prompt text. This figure shows on the example of the app Instagram, that text inputs into Instagram are not just social media contents such as posts