[논문 리뷰] Automated Usability Testing: Analysing Asia Web Sites

A. Rukshan, Andres Baravalle|arXiv (Cornell University)|2012. 12. 09.

Usability and User Interface Design참고 문헌 19인용 수 12

한 줄 요약

이 연구는 XHTML 소스 코드를 17개의 웹 사용성 지침에 따라 분석함으로써 웹 사용성을 평가하는 PHP 및 MySQL 기반의 자동화된 도구인 AWebHUT을 제안한다. 이 도구는 아시아 웹 홈페이지 45,126개를 평가하여 광범위한 사용성 문제를 드러내었으며, 특히 '기상' 카테고리에서 평균 위반률이 42.28%에 달하여 아시아의 웹 사용성 수준을 세계 기준에 맞추기 위해 자동 평가 도구의 필요성을 강조한다.

ABSTRACT

Web usability is continuing to be a pressing problem. For number of years researchers have been developed tools for doing automatic web usability testing. This study uses our own PHP, and MySQL based tool AWebHUT: Automated Web Homepage Usability Tester to evaluate web usability of full Dmoz (www.dmoz.org) Asia web sites (45126 on time stamp 2011-12-03 04:12:46 GMT). The tool uses an extensive automated quantitative analysis of XHTML source code of homepages against seventeen organised web usability guidelines. The automated quantitative approach is effective on large scale to achieve better usability. The AWebHUT uses four web usability levels such as N: Neutral, V: Violate, R: Respect, and E: Error to evaluate web usability. The main objective of the study is to produce data which is used to answer research questions, (1) Are there any categories of web sites which have usability problems? Which ones? and (2) Are there any categories in which the usability is typically higher? Why? The findings were indicated that all Asia categories have usability problems. Furthermore, there are four web sites which have highest web usability problem with violation percentage 71. One step further, the Asia category: Weather has highest usability problems with 42.2819 as the average of the violation percentage. The category Weather uses tables and images, considerable amount of those were not satisfying web usability guidelines which relates to tables and images. One step further, the Asia wants to get the same level of usability as North America, Europe, and Australia therefore it is essential to have an automated web usability evaluation in Asia web sites to identify web usability problems which are important for improving Asia web sites.

연구 동기 및 목표

• 자동화된 분석을 통해 아시아 웹 사이트의 대규모 사용성 문제를 식별하기 위해.
• 아시아 웹 사이트의 카테고리 중에서 가장 심각한 사용성 문제를 보이는 분야를 특정하기 위해.
• 아시아의 다양한 카테고리 간 사용성 수준을 비교하고, 일관되게 높은 사용성 수준을 보이는 카테고리들을 파악하기 위해.
• 북미, 유럽, 오스트레일리아와의 격차를 줄이기 위해 아시아 웹 사이트에 특화된 자동 사용성 평가 도구의 필요성을 확립하기 위해.
• 아시아 웹 홈페이지의 구조적 및 콘텐츠 관련 사용성 위반 사항에 대한 데이터 기반 통찰을 제공하기 위해.

제안 방법

• AWebHUT는 17개의 표준화된 웹 사용성 지침과 일치하는 규칙 기반 시스템을 사용하여 웹 홈페이지의 XHTML 소스 코드를 처리한다.
• 이 도구는 각 지침 검사에 대해 네 가지 사용성 수준(N: 중립, V: 위반, R: 준수, E: 오류) 중 하나를 할당한다.
• 자동화된 정량적 분석을 통해 표, 이미지, 의미적 마크업 등의 구조적 요소가 사용성 최적화 기준을 충족하는지 평가한다.
• 분석은 특정 타임스탬프(2011-12-03 04:12:46 GMT)에 수집된 DMOZ 아시아 디렉터리의 45,126개 웹 홈페이지에 적용된다.
• 각 카테고리의 위반 비율은 해당 카테고리의 모든 웹 사이트 및 지침에 대해 V 및 E 점수를 집계하여 계산된다.
• 카테고리 간 통계적 비교를 통해 상대적 사용성 성능를 분석하였으며, 그 결과 '기상' 카테고리가 가장 문제적이라는 것이 드러났다.

실험 결과

연구 질문

• RQ1 특정 아시아 웹 사이트 카테고리에서 심각한 사용성 문제를 보이는가?
• RQ2 아시아에서 어떤 웹 사이트 카테고리가 높은 사용성 수준을 보이며, 그 이유는 무엇인가?
• RQ3 아시아 웹 사이트의 구조적 요소인 표와 이미지가 기존 사용성 지침을 얼마나 위반하는가?
• RQ4 아시아 웹 사이트의 사용성 수준은 북미, 유럽, 오스트레일리아의 사이트와 비교해 어떻게 되는가?
• RQ5 자동 평가 도구는 대규모 지역 웹 사용자 집단에 걸쳐 사용성 문제를 효과적으로 식별하고 정량화할 수 있는가?

주요 결과

• 분석한 아시아 웹 사이트 18개 카테고리 전부가 사용성 문제를 보이며, 이는 지역 전반에 걸친 체계적 문제를 시사한다.
• '기상' 카테고리가 평균 위반 비율 42.2819%로 가장 높은 수준이며, 가장 문제가 많은 카테고리이다.
• 위반률이 71%에 달하는 4개의 개별 웹 사이트가 확인되어 극심한 사용성 결함을 드러냈다.
• '기상' 카테고리의 주요 위반 원인은 접근성 및 사용성 표준을 충족하지 못하는 표와 이미지의 잘못된 사용이다.
• 이 연구는 아시아 웹 사이트가 평균적으로 북미, 유럽, 오스트레일리아의 기준에 못 미치는 사용성 수준을 보임을 확인했다.
• 이러한 결과는 아시아 웹 사이트의 사용성 문제를 체계적으로 식별하고 시정하기 위해 자동 사용성 평가 도구의 도입이 긴급히 필요하다는 점을 강조한다.