[論文レビュー] Automated Usability Testing: Analysing Asia Web Sites

A. Rukshan, Andres Baravalle|arXiv (Cornell University)|Dec 9, 2012

Usability and User Interface Design参考文献 19被引用数 12

ひとこと要約

本研究では、XHTMLソースコードを17の使いやすさガイドラインに基づいて分析することで、Webの使いやすさを評価する自動化ツールAWebHUTを提案する。45,126件のアジア圏のWebホームページを評価した結果、特に「天気」カテゴリで平均42.28%の違反率を示し、広範な使いやすさの問題が確認された。これは、アジアのWebの使いやすさを世界的な基準に引き上げるため、自動評価の導入が不可欠であることを示している。

ABSTRACT

Web usability is continuing to be a pressing problem. For number of years researchers have been developed tools for doing automatic web usability testing. This study uses our own PHP, and MySQL based tool AWebHUT: Automated Web Homepage Usability Tester to evaluate web usability of full Dmoz (www.dmoz.org) Asia web sites (45126 on time stamp 2011-12-03 04:12:46 GMT). The tool uses an extensive automated quantitative analysis of XHTML source code of homepages against seventeen organised web usability guidelines. The automated quantitative approach is effective on large scale to achieve better usability. The AWebHUT uses four web usability levels such as N: Neutral, V: Violate, R: Respect, and E: Error to evaluate web usability. The main objective of the study is to produce data which is used to answer research questions, (1) Are there any categories of web sites which have usability problems? Which ones? and (2) Are there any categories in which the usability is typically higher? Why? The findings were indicated that all Asia categories have usability problems. Furthermore, there are four web sites which have highest web usability problem with violation percentage 71. One step further, the Asia category: Weather has highest usability problems with 42.2819 as the average of the violation percentage. The category Weather uses tables and images, considerable amount of those were not satisfying web usability guidelines which relates to tables and images. One step further, the Asia wants to get the same level of usability as North America, Europe, and Australia therefore it is essential to have an automated web usability evaluation in Asia web sites to identify web usability problems which are important for improving Asia web sites.

研究の動機と目的

• 自動分析を用いて、アジア圏のWebサイトにおける使いやすさの問題を大規模に同定すること。
• アジア圏のWebサイトのどのカテゴリが最も深刻な使いやすさの問題を示すかを特定すること。
• アジア圏のカテゴリ間における使いやすさ水準を比較し、一貫して高い使いやすさを示すカテゴリを同定すること。
• 北米、欧州、オーストラリアと比較して差を埋めるために、アジア圏のWebサイトに特化した自動使いやすさ評価ツールの必要性を確立すること。
• アジア圏のWebホームページにおける構造的・コンテンツ関連の使いやすさ違反について、データドリブンな洞察を提供すること。

提案手法

• AWebHUTは、17の標準化されたWeb使いやすさガイドラインに整合したルールベースのシステムを用いて、WebホームページのXHTMLソースコードを処理する。
• 各ガイドラインのチェックに対して、4段階の使いやすさレベル（N：中立、V：違反、R：遵守、E：誤り）を割り当てる。
• 自動定量分析により、表や画像、意味的マークアップなどの構造的要素が使いやすさのベストプラクティスに適合しているかを評価する。
• 分析対象は、2011-12-03 04:12:46 GMTに収集されたDMOZアジアディレクトリからの45,126件のWebホームページである。
• 各カテゴリごとの違反割合は、そのカテゴリに属するすべてのガイドラインおよびサイトにおけるVおよびEスコアを集計して算出される。
• カテゴリ間の統計的比較により相対的な使いやすさパフォーマンスを特定し、『天気』カテゴリが最も深刻な問題を示すことが判明した。

実験結果

リサーチクエスチョン

• RQ1 アジア圏のWebサイトの特定カテゴリに顕著な使いやすさの問題が存在するか？
• RQ2 アジア圏のどのWebサイトカテゴリがより高い使いやすさを示しており、その優れたパフォーマンスを支える要因は何であるか？
• RQ3 アジア圏のWebサイトにおける表や画像といった構造的要素が、確立された使いやすさガイドラインにどの程度違反しているか？
• RQ4 アジア圏のWebサイトの使いやすさ水準は、北米、欧州、オーストラリアのそれらと比較してどの程度異なるか？
• RQ5 自動評価ツールは、大規模な地域的Webサイト集団において、使いやすさの問題を効果的に同定および定量的に評価できるか？

主な発見

• 分析対象の18のアジア圏Webサイトカテゴリすべてに使いやすさの問題が確認され、地域全体にわたる構造的問題が示された。
• 『天気』カテゴリが平均違反率42.2819%を記録し、最も深刻な問題を示すカテゴリとなった。
• 違反率が71%に達する4件の個別Webサイトが特定され、極めて深刻な使いやすさの欠陥が判明した。
• 『天気』カテゴリにおける違反の主な原因は、アクセシビリティおよび使いやすさ基準を満たさない表や画像の不適切な使用にある。
• 本研究では、アジア圏のWebサイトが、北米、欧州、オーストラリアで確認される使いやすさベンチマークに平均的に及ばないことが確認された。
• 研究結果は、アジア圏のWebサイトにおける使いやすさの問題を体系的に同定・是正するため、自動使いやすさ評価ツールの導入が急務であることを強調している。